水下圖像在海洋研究和水下機器人領域都具有重要的應用，觀察海洋生物、進行水下作業都需要清晰的圖像。然而由于水的折射和水中懸浮顆粒的散射對光造成大幅度的衰減，同時水體的多樣性也造成了水下圖像的質量不盡如人意，很多視覺任務都會在質量較低的水下圖像上失效。

來自德州農工大學的研究人員們提出了一種可以在多種水體條件下實現水下圖像增強的方法。通過解耦水體種類與圖像的內容特征，利用水體無關的內容特征來生成高質量的清晰圖像，實現了多種水體通用的水下圖像增強。通常水對于長波的光吸收比較強，所以水下的照片都會呈現出藍色或者綠色的色調；同時不同水質中的微小顆粒也會在圖像中引入一系列噪聲。此外水下圖像的分布由于水質的不同使得圖像的分布比較廣泛，不同水質中的圖像有很大的差別，深海圖像與淺水圖像有著顯著的差別。

要建立針對不同水質下圖像提升的通用模型是十分困難的，先前的研究工作都集中在不同光譜衰減和微粒散射上，還沒有工作對不同水質下水下圖像提升進行系統的研究。

雖然有研究用多個模型來分別處理不同的Jerlov水體模型，但這種方法效率較低并且強烈依賴于水體的先驗知識。此外水下圖像提升的另一挑戰在于沒有真實世界中采集的基準數據集，使得研究人員們很難獲得真實情況下的水體對成像造成的衰減。

為了解決這一系列問題，研究人員們提出了基于編碼器-解碼器的架構來從水下圖像重建出清晰的圖像，同時利用卷積網絡實現對于水體的分類。

研究人員首先充分考慮了水下成像過程中的波長相關衰減、光散射和水體的影響，合成了豐富的數據用于模型訓練；隨后解決水體多樣性的挑戰，需要利用編碼器分離出與水質無關的特征。

訓練編碼器得到可以重建清晰圖像的編碼，同時也讓編碼盡量與水體類別無關，充分訓練后就可以得到針對多種水體的圖像增強模型了。

UIE-DAL

由于這一研究的目標不僅僅是水下圖像質量提升，更重要的是希望得到能在多種水質下穩定工作的單一模型，這就需要從水下圖像中學習出與水體種類無關的編碼表示，這意味著不同水體條件下從同一場景抽取出的編碼要盡可能相同，這樣解碼器才能從場景相關的特征中重建出清晰的圖像。

模型的架構，其中的彩色箭頭表明了各種梯度傳播的方向和更新的部分。

為了實現這一目標，研究人員在網絡中引入了一個作為判別器（nuisance classifier）的分類器，用于從隱變量中區分出水體的種類。這一工作的創造性在于，利用分類器的的不確定性來作為對抗損失訓練編碼器。如果編碼的隱變量讓這一分類器的不確定性越高，那就說明編碼與水體種類的相關性越低。對抗損失將驅動編碼器學習到與水類型無關的編碼。在模型中包含了三種損失、包括重建損失、分類器損失和對抗損失。其中重建損失是重建的清晰圖像與基準間的均方誤差，分類器損失則是水體目標類型與分類器預測水體種類的交叉熵，這一損失僅僅更新分類器本身。

這一模型最重要的損失是整個網絡的對抗損失，它的目的在于增加分類器的不確定性（熵），研究人員嘗試減少分類器的確定性來實現。這一對抗損失由分類器從隱變量中預測水體類型分布的負熵來構成，這部分的損失僅僅在編碼器上進行更新，目的是使得編碼器盡可能編碼出與水體類型無關的表示。研究人員首先對模型中的編碼器和解碼器進行了訓練，用于保證模型的編碼中包含了圖像中有意義的信息；隨后加入分類器對整個網絡進行聯合對抗訓練。尤為重要的是需要保證分類器足夠強大，這樣才能夠學習出分類器特征迫使編碼器編碼出與水體類型無關的特征。

算法流程如下圖所示：

其中編碼器解碼器基于U-Net架構，而分類器則利用了如下圖所示的7層結構，最后輸出水體分類為Jerlov十種水體類型中的六種。訓練數據基于NYU-V2數據和水體類型合成而來，真實數據則UIEBD(Underwater Image Enhancement Benchmark Dataset)數據集。

結果

下圖顯示了模型在合成數據集上的表現，左邊是不同水質下的合成數據，中間是算法的結果，右邊是基準圖像。

下圖顯示了真實水體下的圖像提升效果，可以看到模型對于不同的水體質量都有較好的表現：

最后研究人員還分析了對抗損失對于圖像增強的效果，最右側是加入了與水質無關的損失后得到的結果，比中間原始U-Net輸出結果要好：

對于目標檢測結果的提升：