水下圖像在海洋研究和水下機(jī)器人領(lǐng)域都具有重要的應(yīng)用，觀察海洋生物、進(jìn)行水下作業(yè)都需要清晰的圖像。然而由于水的折射和水中懸浮顆粒的散射對(duì)光造成大幅度的衰減，同時(shí)水體的多樣性也造成了水下圖像的質(zhì)量不盡如人意，很多視覺任務(wù)都會(huì)在質(zhì)量較低的水下圖像上失效。

來自德州農(nóng)工大學(xué)的研究人員們提出了一種可以在多種水體條件下實(shí)現(xiàn)水下圖像增強(qiáng)的方法。通過解耦水體種類與圖像的內(nèi)容特征，利用水體無關(guān)的內(nèi)容特征來生成高質(zhì)量的清晰圖像，實(shí)現(xiàn)了多種水體通用的水下圖像增強(qiáng)。通常水對(duì)于長(zhǎng)波的光吸收比較強(qiáng)，所以水下的照片都會(huì)呈現(xiàn)出藍(lán)色或者綠色的色調(diào)；同時(shí)不同水質(zhì)中的微小顆粒也會(huì)在圖像中引入一系列噪聲。此外水下圖像的分布由于水質(zhì)的不同使得圖像的分布比較廣泛，不同水質(zhì)中的圖像有很大的差別，深海圖像與淺水圖像有著顯著的差別。

要建立針對(duì)不同水質(zhì)下圖像提升的通用模型是十分困難的，先前的研究工作都集中在不同光譜衰減和微粒散射上，還沒有工作對(duì)不同水質(zhì)下水下圖像提升進(jìn)行系統(tǒng)的研究。

雖然有研究用多個(gè)模型來分別處理不同的Jerlov水體模型，但這種方法效率較低并且強(qiáng)烈依賴于水體的先驗(yàn)知識(shí)。此外水下圖像提升的另一挑戰(zhàn)在于沒有真實(shí)世界中采集的基準(zhǔn)數(shù)據(jù)集，使得研究人員們很難獲得真實(shí)情況下的水體對(duì)成像造成的衰減。

為了解決這一系列問題，研究人員們提出了基于編碼器-解碼器的架構(gòu)來從水下圖像重建出清晰的圖像，同時(shí)利用卷積網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)于水體的分類。

研究人員首先充分考慮了水下成像過程中的波長(zhǎng)相關(guān)衰減、光散射和水體的影響，合成了豐富的數(shù)據(jù)用于模型訓(xùn)練；隨后解決水體多樣性的挑戰(zhàn)，需要利用編碼器分離出與水質(zhì)無關(guān)的特征。

訓(xùn)練編碼器得到可以重建清晰圖像的編碼，同時(shí)也讓編碼盡量與水體類別無關(guān)，充分訓(xùn)練后就可以得到針對(duì)多種水體的圖像增強(qiáng)模型了。

UIE-DAL

由于這一研究的目標(biāo)不僅僅是水下圖像質(zhì)量提升，更重要的是希望得到能在多種水質(zhì)下穩(wěn)定工作的單一模型，這就需要從水下圖像中學(xué)習(xí)出與水體種類無關(guān)的編碼表示，這意味著不同水體條件下從同一場(chǎng)景抽取出的編碼要盡可能相同，這樣解碼器才能從場(chǎng)景相關(guān)的特征中重建出清晰的圖像。

模型的架構(gòu)，其中的彩色箭頭表明了各種梯度傳播的方向和更新的部分。

為了實(shí)現(xiàn)這一目標(biāo)，研究人員在網(wǎng)絡(luò)中引入了一個(gè)作為判別器（nuisance classifier）的分類器，用于從隱變量中區(qū)分出水體的種類。這一工作的創(chuàng)造性在于，利用分類器的的不確定性來作為對(duì)抗損失訓(xùn)練編碼器。如果編碼的隱變量讓這一分類器的不確定性越高，那就說明編碼與水體種類的相關(guān)性越低。對(duì)抗損失將驅(qū)動(dòng)編碼器學(xué)習(xí)到與水類型無關(guān)的編碼。在模型中包含了三種損失、包括重建損失、分類器損失和對(duì)抗損失。其中重建損失是重建的清晰圖像與基準(zhǔn)間的均方誤差，分類器損失則是水體目標(biāo)類型與分類器預(yù)測(cè)水體種類的交叉熵，這一損失僅僅更新分類器本身。

這一模型最重要的損失是整個(gè)網(wǎng)絡(luò)的對(duì)抗損失，它的目的在于增加分類器的不確定性（熵），研究人員嘗試減少分類器的確定性來實(shí)現(xiàn)。這一對(duì)抗損失由分類器從隱變量中預(yù)測(cè)水體類型分布的負(fù)熵來構(gòu)成，這部分的損失僅僅在編碼器上進(jìn)行更新，目的是使得編碼器盡可能編碼出與水體類型無關(guān)的表示。研究人員首先對(duì)模型中的編碼器和解碼器進(jìn)行了訓(xùn)練，用于保證模型的編碼中包含了圖像中有意義的信息；隨后加入分類器對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行聯(lián)合對(duì)抗訓(xùn)練。尤為重要的是需要保證分類器足夠強(qiáng)大，這樣才能夠?qū)W習(xí)出分類器特征迫使編碼器編碼出與水體類型無關(guān)的特征。

算法流程如下圖所示：

其中編碼器解碼器基于U-Net架構(gòu)，而分類器則利用了如下圖所示的7層結(jié)構(gòu)，最后輸出水體分類為Jerlov十種水體類型中的六種。訓(xùn)練數(shù)據(jù)基于NYU-V2數(shù)據(jù)和水體類型合成而來，真實(shí)數(shù)據(jù)則UIEBD(Underwater Image Enhancement Benchmark Dataset)數(shù)據(jù)集。

結(jié)果

下圖顯示了模型在合成數(shù)據(jù)集上的表現(xiàn)，左邊是不同水質(zhì)下的合成數(shù)據(jù)，中間是算法的結(jié)果，右邊是基準(zhǔn)圖像。

下圖顯示了真實(shí)水體下的圖像提升效果，可以看到模型對(duì)于不同的水體質(zhì)量都有較好的表現(xiàn)：

最后研究人員還分析了對(duì)抗損失對(duì)于圖像增強(qiáng)的效果，最右側(cè)是加入了與水質(zhì)無關(guān)的損失后得到的結(jié)果，比中間原始U-Net輸出結(jié)果要好：

對(duì)于目標(biāo)檢測(cè)結(jié)果的提升：