圖像復(fù)原是利用退化過程的某些先驗(yàn)知識(shí)建立相應(yīng)的數(shù)學(xué)模型，通過求解逆問題對(duì)原始圖像進(jìn)行估計(jì)進(jìn)而復(fù)原被退化的圖像。但在退化過程中，噪聲和干擾因素同時(shí)存在，給圖像的復(fù)原帶來了諸多不確定性和挑戰(zhàn)。隨著深度學(xué)習(xí)研究熱潮的到來，圖像復(fù)原仍然是目前計(jì)算機(jī)視覺領(lǐng)域的重要方向，例如圖像去雨、圖像去霧和圖像去模糊等，是諸多高層視覺任務(wù)的重要預(yù)處理步驟。雨是最常見的動(dòng)態(tài)惡劣天氣，因此本文重點(diǎn)探討圖像去雨任務(wù)。特別地，圖像去雨分為靜態(tài)單圖像去雨和動(dòng)態(tài)序列圖像（即視頻）去雨。和視頻去雨相比，單圖像去雨由于缺乏時(shí)域信息因而更具挑戰(zhàn)性。圖1 展示了部分合成的雨圖像和真實(shí)的雨圖像的對(duì)比，從中可見真實(shí)雨圖中的雨紋信息是更加復(fù)雜的、多樣化的和多方向的，因此真實(shí)雨圖的復(fù)原任務(wù)更加具有挑戰(zhàn)性。

圖1 合成雨圖像和真實(shí)雨圖像的比較

1 單圖像去雨簡(jiǎn)介

圖像去雨任務(wù)的數(shù)學(xué)問題可以簡(jiǎn)單表示為

I=R+B （1）

即將雨圖I 分解為雨紋R 和干凈背景B，得到復(fù)原的干凈圖像。由于R 和B 均不可知，因此式（1）是一個(gè)病態(tài)問題。單圖像去雨方法大致分為基于模型+ 優(yōu)化的方法（ 非深度學(xué)習(xí)） 和基于數(shù)據(jù)+訓(xùn)練的方法（ 深度學(xué)習(xí)）。傳統(tǒng)去雨方法更多地依賴對(duì)雨紋的光學(xué)性質(zhì)進(jìn)行研究，通過對(duì)雨圖進(jìn)行估計(jì)，建立雨紋的先驗(yàn)?zāi)Ｐ?，再通過函數(shù)進(jìn)行優(yōu)化。例如稀疏編碼和高斯混合模型等。

近年來，基于模型的傳統(tǒng)方法逐漸被深度學(xué)習(xí)方法所取代。和傳統(tǒng)去雨方法相比，深度學(xué)習(xí)去雨方法取得了顯著的性能提升，主要原因歸結(jié)于，深度神經(jīng)網(wǎng)絡(luò)DNN 具有強(qiáng)大的特征學(xué)習(xí)能力和對(duì)圖像的映射能力；以及大量的訓(xùn)練數(shù)據(jù)為DNN 提供了足夠的信息。深度學(xué)習(xí)去雨方法使用不同的DNN（ 如CNN、RNN 和GAN 等）來提取雨圖的層級(jí)特征和雨紋信息，得到從雨圖到清晰圖像的直接映射，即端到端的。為了訓(xùn)練得到更好的深度去雨模型，與雨紋或背景相關(guān)的先驗(yàn)知識(shí)也會(huì)被添加到網(wǎng)絡(luò)中，如雨紋掩模Mask 和雨紋密度信息等；也設(shè)計(jì)不同的基礎(chǔ)單元進(jìn)行特征提取，如Residual Dense Block、Contextualized Dilated Block 和Spatial Attentive Module。此外，不同的深度網(wǎng)絡(luò)被提出，如循環(huán)架構(gòu)和遞歸架構(gòu)。

按照配對(duì)信息的數(shù)量和訓(xùn)練方式，目前的單圖像深度學(xué)習(xí)去雨方法可分為全監(jiān)督、無監(jiān)督和半監(jiān)督三種。圖2 展示了部分配對(duì)圖像和不成對(duì)圖像。全監(jiān)督方法的訓(xùn)練數(shù)據(jù)均為成對(duì)數(shù)據(jù)。但是真實(shí)應(yīng)用中采集的數(shù)據(jù)都是無標(biāo)簽的，即沒有真值圖像，因此只使用部分甚至零配對(duì)數(shù)據(jù)的無監(jiān)督和半監(jiān)督去雨方法將具有更大的優(yōu)勢(shì)，可以有效緩解配對(duì)數(shù)據(jù)受限問題。三種去雨模式的方法框架見圖3。

圖2 配對(duì)圖像和不成對(duì)圖像的對(duì)比

圖3 全監(jiān)督/ 無監(jiān)督/ 半監(jiān)督訓(xùn)練方式的示意圖

目前大部分的深度學(xué)習(xí)去雨方法均是全監(jiān)督訓(xùn)練模式。但是由于現(xiàn)實(shí)中的雨圖不成對(duì)，目前主要通過人工加雨紋的方式制造配對(duì)數(shù)據(jù)；然而人工合成的雨紋與真實(shí)的雨紋差異很大，因此訓(xùn)練的模型在真實(shí)去雨任務(wù)上無法取得令人滿意的結(jié)果，即泛化能力差。因此，本文主要圍繞無監(jiān)督與半監(jiān)督單圖像深度學(xué)習(xí)去雨研究的最新進(jìn)展進(jìn)行簡(jiǎn)要介紹。

2 無監(jiān)督單圖像深度學(xué)習(xí)去雨

由于沒有配對(duì)數(shù)據(jù)，無監(jiān)督去雨方法的研究難度更大，因此到目前為止此類方法仍然很少，代表性的幾個(gè)無監(jiān)督深度網(wǎng)絡(luò)模型包括RRGAN、UD-GAN 和DerainCycleGAN。這些基于GAN 的深度方法提出不使用成對(duì)訓(xùn)練數(shù)據(jù)的端到端的單去雨模型，通過深度網(wǎng)絡(luò)加特定的物理模型或先驗(yàn)知識(shí)提取雨紋信息，得到去雨圖像。下面， 將分別對(duì)RR-GAN、UD-GAN 和Derain-CycleGAN 進(jìn)行簡(jiǎn)要介紹。

RR-GAN 的網(wǎng)絡(luò)架構(gòu)，由一個(gè)多尺度的注意力記憶生成器MAMG 和一個(gè)多尺度的深度監(jiān)督鑒別器MDSD 組成。其中，MAMG 循環(huán)遞歸地利用具有注意機(jī)制的記憶模塊不斷獲取更加精確的雨紋信息，接著將原始雨圖和雨紋圖一起輸入到U-Net 中得到復(fù)原圖像。通過MDSD 對(duì)復(fù)原的圖像進(jìn)行真假判斷，使其外觀盡可能接近于無雨圖像。RR-GAN 除了使用GAN 的傳統(tǒng)損失函數(shù)，還加入了一個(gè)重構(gòu)損失函數(shù)，度量提取的雨紋加去雨得到的圖片與原始雨圖的歐氏距離。作者分別測(cè)試了在成對(duì)數(shù)據(jù)和不成對(duì)數(shù)據(jù)兩種情況下得到的去雨性能。從結(jié)果看，監(jiān)督模式的效果并沒有明顯優(yōu)于無監(jiān)督模式的效果。對(duì)于這一點(diǎn)，作者并沒有給出確切原因?？赡艿脑蚴荕DSD 只會(huì)對(duì)圖片是否有雨進(jìn)行真假判別，而不會(huì)對(duì)圖像是否相似進(jìn)行判別。

UD-GAN 提出一個(gè)無監(jiān)督的生成對(duì)抗網(wǎng)絡(luò)來處理單圖像去雨，通過引入自監(jiān)督約束解決無配對(duì)數(shù)據(jù)受限的問題。自監(jiān)督學(xué)習(xí)目前受到了深度學(xué)習(xí)領(lǐng)域的青睞和廣泛關(guān)注，Yann LeCun 在AAAI 2020 論文“Self-Supervised Learning” 中再次強(qiáng)調(diào)了自監(jiān)督學(xué)習(xí)的重要性。關(guān)于自監(jiān)督學(xué)習(xí)的具體細(xì)節(jié)，可查閱《中國(guó)人工智能學(xué)會(huì)通訊》2020年第10卷第1期中陳松燦教授的《自監(jiān)督學(xué)習(xí)的最新進(jìn)展與展望》一文。具體地，UDGAN設(shè)計(jì)了兩個(gè)協(xié)同優(yōu)化模塊，即雨紋引導(dǎo)模塊RGM 和背景引導(dǎo)模塊BGM，來充分學(xué)習(xí)雨圖特征。其中，RGM用于區(qū)分真實(shí)雨圖和基于BGM生成器輸出的假雨圖，此功能與RR-GAN中的重構(gòu)損失函數(shù)類似。BGM采用高斯模糊處理原始雨圖和輸出的無雨圖像，通過計(jì)算不同程度的高斯模糊后的梯度誤差來確保輸入輸出內(nèi)容的一致性，效果類似于使用vgg16或者vgg19網(wǎng)絡(luò)提取特征后的感知損失。此外，由于輸出的去雨圖像與原圖存在亮度差異，還引入了亮度增強(qiáng)的干凈圖片作為負(fù)樣本，并將亮度對(duì)抗損失函數(shù)集成到鑒別器中。相對(duì)于RR-GAN的單個(gè)生成器和判別器，UD-GAN利用了CycleGAN的循環(huán)一致性結(jié)構(gòu)，使用了兩種生成器和兩種判別器，可以使圖片從有雨域到無雨域再到有雨域進(jìn)行轉(zhuǎn)化。該方法在合成數(shù)據(jù)和真實(shí)數(shù)據(jù)上都取得了不錯(cuò)的去雨結(jié)果。當(dāng)同時(shí)利用合成數(shù)據(jù)和真實(shí)數(shù)據(jù)時(shí)，去雨效果甚至可超越部分全監(jiān)督學(xué)習(xí)去雨模式。

DerainCycleGAN構(gòu)建了一個(gè)雙支路網(wǎng)絡(luò)進(jìn)行無監(jiān)督去雨，可分別處理和利用有雨圖片域和無雨圖片域中的信息。具體地，提出一種基于無監(jiān)督注意力引導(dǎo)的雨紋信息提取器U-ARSE，同時(shí)對(duì)有雨圖像域和無雨圖像域進(jìn)行雨紋識(shí)別和提取，通過U-ARSE內(nèi)的循環(huán)遞歸來實(shí)現(xiàn)。提取出的雨紋信息（從有雨圖像中提取的是雨紋掩模信息，從無雨圖像中提取的是空白信息）與原始圖片一同輸入到對(duì)應(yīng)的生成器中分別生成去雨后圖像和加雨圖像，然后繼續(xù)生成重構(gòu)的原始圖像。為了優(yōu)化U-ARSE，設(shè)計(jì)了一個(gè)物理先驗(yàn)來約束雨紋信息，并使用了較全面的損失函數(shù)來約束整個(gè)網(wǎng)絡(luò)。和RR-GAN、UD-GAN相比，該網(wǎng)絡(luò)同樣使用了兩種生成器和兩種判別器，但是RR-GAN和UD-GAN是直接利用單路結(jié)構(gòu)進(jìn)行無監(jiān)督學(xué)習(xí)，而DerainCycleGAN采用了雙路結(jié)構(gòu)。由于利用了干凈圖片域的信息，進(jìn)一步提高了去雨效果。此外，DerainCycleGAN還利用第二條支路來自動(dòng)生成了帶雨圖片。與現(xiàn)有的合成數(shù)據(jù)相比，新生成的雨紋具有更多的方向和形狀，更加接近真實(shí)雨紋信息。作者通過對(duì)比試驗(yàn)驗(yàn)證了在新數(shù)據(jù)集上訓(xùn)練模型，在真實(shí)去雨任務(wù)中具有更好的效果。

3 半監(jiān)督單圖像深度學(xué)習(xí)去雨

半監(jiān)督去雨方法除了使用合成數(shù)據(jù)，還增加了真實(shí)數(shù)據(jù)進(jìn)行聯(lián)合訓(xùn)練。由于合成數(shù)據(jù)和真實(shí)數(shù)據(jù)的差異較大，如何進(jìn)行有效的約束和建立兩個(gè)域間的聯(lián)系是個(gè)很大挑戰(zhàn)。因此，針對(duì)半監(jiān)督去雨方法的研究也非常少，代表性的方法包括半監(jiān)督遷移學(xué)習(xí)算法SIRR 和Semi-DerainGAN 算法等。接下來，將分別對(duì)SIRR 和Semi-DerainGAN的網(wǎng)絡(luò)架構(gòu)進(jìn)行簡(jiǎn)要介紹。

SIRR使用了CNN同時(shí)處理合成圖像數(shù)據(jù)和真實(shí)數(shù)據(jù)。對(duì)于合成數(shù)據(jù)直接采用傳統(tǒng)的網(wǎng)絡(luò)輸出圖像， 與干凈圖像間的最小二乘損失（MSEloss）進(jìn)行約束。對(duì)于真實(shí)數(shù)據(jù)，通過在真實(shí)圖片殘差（即真實(shí)雨圖減去真實(shí)輸出圖像）的基礎(chǔ)上設(shè)計(jì)參數(shù)化分布的似然項(xiàng)來約束去雨效果。最后，通過合成圖片的殘差（即合成帶雨圖像減去對(duì)應(yīng)的無雨圖像）與真實(shí)圖片的殘差之間的相對(duì)熵（即KL 散度）來約束合成圖像域與真實(shí)圖像域的去雨效果。SIRR通過監(jiān)督模式下的合成雨紋信息學(xué)習(xí)來指導(dǎo)無監(jiān)督模式下的真實(shí)雨紋信息學(xué)習(xí)，緩解了合成數(shù)據(jù)不足與樣本偏差的問題。SIRR還使用了高斯混合模型（GMM）來模擬真實(shí)雨紋，以及使用EM算法來進(jìn)行求解，具有一定的指導(dǎo)意義。但是合成圖像和真實(shí)圖像中的雨紋信息差異通常很大，因此通過添加合成雨紋域和真實(shí)雨紋域之間的約束（即減少合成殘差與真實(shí)殘差之間的KL距離）來訓(xùn)練一個(gè)共用的深度網(wǎng)絡(luò)可能不合適。因?yàn)樵撨^程會(huì)導(dǎo)致對(duì)合成數(shù)據(jù)中提取的雨紋信息進(jìn)行蒸餾，降低了監(jiān)督網(wǎng)絡(luò)的精準(zhǔn)度，使得該SIRR 模型在處理大雨情況下的圖像去雨任務(wù)時(shí)會(huì)留下較多的雨紋信息。

為了解決上述問題，Semi-DerainGAN提出了一種新的基于半監(jiān)督模式的深度單圖像去雨網(wǎng)絡(luò)。該網(wǎng)絡(luò)提出一種基于共享參數(shù)的半監(jiān)督雨紋信息學(xué)習(xí)器SSRML，可以同時(shí)訓(xùn)練合成數(shù)據(jù)和真實(shí)數(shù)據(jù)，使得真實(shí)圖像能提供更多的雨紋信息。該方法使用兩個(gè)獨(dú)立的深度網(wǎng)絡(luò)生成器分別進(jìn)行合成數(shù)據(jù)和真實(shí)數(shù)據(jù)的去雨操作，可減輕在一個(gè)深度網(wǎng)絡(luò)中進(jìn)行去雨所造成的知識(shí)沖突和學(xué)習(xí)力下降的問題。引入的第三個(gè)生成器可以進(jìn)一步對(duì)真實(shí)數(shù)據(jù)的去雨結(jié)果進(jìn)行重構(gòu)，加強(qiáng)有雨域和無雨域圖片的生成轉(zhuǎn)化。對(duì)于全監(jiān)督子網(wǎng)絡(luò)中的合成數(shù)據(jù)，使用了傳統(tǒng)的對(duì)抗損失、結(jié)構(gòu)相似性損失和感知損失等；對(duì)于無監(jiān)督子網(wǎng)絡(luò)中的真實(shí)數(shù)據(jù)，使用了對(duì)抗損失、TV 正則化、感知損失和循環(huán)一致性損失。為了獲得更好的去雨效果，針對(duì)性地設(shè)計(jì)了一個(gè)成對(duì)圖片鑒別器，可區(qū)分合成數(shù)據(jù)中的真假圖片對(duì)。與SIRR 相比，Semi-DerainGAN 在合成數(shù)據(jù)集和真實(shí)數(shù)據(jù)集上都取得了更好的實(shí)驗(yàn)結(jié)果。但是，由于合成數(shù)據(jù)和真實(shí)數(shù)據(jù)中所包含的雨紋信息差異大，以及全監(jiān)督和半監(jiān)督訓(xùn)練中約束條件的不平衡，使用基于兩條對(duì)稱支路的訓(xùn)練可能會(huì)導(dǎo)致收斂較慢的情況。

4 結(jié)束語

現(xiàn)有對(duì)單圖像深度學(xué)習(xí)去雨方法的研究主要集中在全監(jiān)督模式上，通過使用深度神經(jīng)網(wǎng)絡(luò)結(jié)合人工先驗(yàn)的方式，對(duì)合成數(shù)據(jù)中雨紋（滴）的分布進(jìn)行擬合，訓(xùn)練出一個(gè)端到端的去雨網(wǎng)絡(luò)。這些方法一方面無法利用真實(shí)圖像數(shù)據(jù)進(jìn)行訓(xùn)練，另一方面也無法很好地泛化到真實(shí)去雨任務(wù)中。無監(jiān)督和半監(jiān)督的單圖像深度學(xué)習(xí)去雨方法可以有效彌補(bǔ)這些不足，但是由于可用的先驗(yàn)信息少，因而研究難度更大，關(guān)于此類研究工作目前還處于起步階段，相關(guān)方法還比較少，未來還有很大的研究空間。此外，單圖像雨域和非雨域間的遷移學(xué)習(xí)、圖像領(lǐng)域和視頻領(lǐng)域去雨的遷移學(xué)習(xí)等將是未來圖像去雨研究值得關(guān)注的一些方向。