背景介紹

人臉修復(fù)是一種典型的ill-posed問(wèn)題、可逆圖像修復(fù)問(wèn)題，其解不唯一且必存在。高度退化和多退化的場(chǎng)景下，高質(zhì)量的人臉修復(fù)明顯更具有挑戰(zhàn)性。傳統(tǒng)深度學(xué)習(xí)方法利用成對(duì)的數(shù)據(jù)集訓(xùn)練模型從而獲得處理該退化問(wèn)題的能力，這些普通范式雖然在全局人臉結(jié)構(gòu)上有不錯(cuò)的效果，但是明顯在修復(fù)結(jié)果的細(xì)節(jié)豐富度上并不理想。

因此，近一兩年，頂會(huì)上出現(xiàn)了不少基于GAN先驗(yàn)特征的人臉修復(fù)方法。這些方法通過(guò)將退化的人臉圖像編碼到訓(xùn)練好的GAN網(wǎng)絡(luò)的潛在空間中，利用隱藏在GAN網(wǎng)絡(luò)中豐富的圖像先驗(yàn)知識(shí)，來(lái)獲得更好的人臉修復(fù)細(xì)節(jié)。但是，常見(jiàn)的GAN網(wǎng)絡(luò)的latent features維度并不高，這些特征的空間表達(dá)能力也不佳，難以完整捕獲退化人臉圖像的面部結(jié)構(gòu)，造成恢復(fù)結(jié)果的身份信息與原圖并不一致，即方法結(jié)果的保真度較低。

為了進(jìn)一步、更完整得捕獲輸入退化圖像的面部特征，一些方法不僅將降質(zhì)人臉圖像編碼到潛空間中，而且還將外部特征（例如從降質(zhì)人臉圖像中提取的特征）與 GAN 先驗(yàn)特征融合起來(lái)，以實(shí)現(xiàn)更好的身份一致性。然而，它們并沒(méi)有提供明確的降質(zhì)感知的特征融合設(shè)計(jì)，因此在面對(duì)不同的、多變的退化時(shí)，修復(fù)效果的魯棒性并不理想。

受最近對(duì)比學(xué)習(xí)范式的啟發(fā)，作者團(tuán)隊(duì)首先提出一種無(wú)監(jiān)督的退化表征學(xué)習(xí)策略，旨在利用對(duì)比學(xué)習(xí)和視覺(jué)注意力的最新進(jìn)展，預(yù)訓(xùn)練一個(gè)退化表示編碼器（DRE）。DRE 提取輸入退化人臉圖像的退化表征，作為全局條件指導(dǎo)恢復(fù)過(guò)程。此外，作者還提出了一種新的退化感知特征插值（DAFI）模塊，可以根據(jù)退化表征動(dòng)態(tài)融合 GAN 先驗(yàn)特征和從退化人臉圖像中提取的特征。

作者團(tuán)隊(duì)進(jìn)一步提出了一種新的網(wǎng)絡(luò)，以集成這些設(shè)計(jì)用于人臉修復(fù)任務(wù)。由于選擇和融合不同來(lái)源的特征的思路類似于制作 panini （帕尼尼，KFC早餐經(jīng)典食品）的方式，因此將這個(gè)網(wǎng)絡(luò)稱為 Panini-Net。該網(wǎng)絡(luò)可以根據(jù)退化程度動(dòng)態(tài)調(diào)整融合的特征比例，以實(shí)現(xiàn)更好的修復(fù)性能。

方法介紹

下面將逐一介紹Panini-Net的各個(gè)模塊，最后將總結(jié)該方法的重點(diǎn)內(nèi)容。

Panini-Net架構(gòu)圖。它由圖像特征提取模塊（Image Feature Extraction Module）、退化感知特征插值模塊組成(DAFI) 模塊，以預(yù)訓(xùn)練的 StyleGAN2 作為 GAN Prior 模塊 (GPM)。給定退化的人臉圖像作為輸入，圖像特征提取模塊提取特征,并預(yù)測(cè)latent code,該latent code可以從 GPM 中粗略地獲取類似的高質(zhì)量人臉。然后，使用 DAFI 塊逐步對(duì)特征做插值處理從而合并退化人臉圖像的有效結(jié)構(gòu)信息。預(yù)訓(xùn)練的退化表示編碼器 (DRE) 將退化表示編碼為向量，其可以被視為指導(dǎo) DAFI 塊進(jìn)行恢復(fù)的全局條件。

GAN Prior Module

Panini-Net采用預(yù)訓(xùn)練的StyleGAN2的生成器來(lái)作為GAN先驗(yàn)?zāi)K，如上圖中所示，該模塊從一個(gè)可學(xué)習(xí)的常量特征開(kāi)始，逐漸通過(guò)一系列的GAN blocks來(lái)生成分層的高質(zhì)量特征圖，從而將其配合退化感知特征插值模塊，通過(guò)動(dòng)態(tài)的特征融合來(lái)矯正面部結(jié)構(gòu)。

Unsupervised Degradation Representation Learning for Degradation Representation

退化表示的無(wú)監(jiān)督退化表示學(xué)習(xí)策略。對(duì)于每次迭代，隨機(jī)生成一組新的退化參數(shù)，并在兩個(gè)高質(zhì)量圖像上操作它們從而得到不同的新 HQ 圖像生成正例對(duì)。讓隊(duì)列中的歷史圖像成為反例，以鼓勵(lì)學(xué)習(xí)退化而不是內(nèi)容。

無(wú)監(jiān)督表征學(xué)習(xí)（Unsupervised Degradation Representation Learning ）用于圖像修復(fù)（超分）其實(shí)不是一個(gè)比較新的idea，之前cvpr‘21的超分工作DASR，以及cvpr’22的AirNet都有類似的范式來(lái)作為方案的核心。不過(guò)在Panini-Net中，該部分還是挺不一樣的。

具體來(lái)說(shuō)，如上圖所示，先在兩個(gè)不同的高質(zhì)量人臉圖像上應(yīng)用同一組退化參數(shù)來(lái)得到兩個(gè)內(nèi)容不同、退化模式不同的退化圖像，隨后利用MoCo范式來(lái)執(zhí)行對(duì)比學(xué)習(xí)，所利用的約束也是常見(jiàn)的InfoNCE loss，從而鼓勵(lì)學(xué)習(xí)退化而不是內(nèi)容。cvpr‘21的超分工作DASR，以及cvpr’22的AirNet的論文名字：Unsupervised Degradation Representation Learning for Blind Super-Resolution (CVPR'21)All-in-one image restoration for unknown corruption (CVPR'22)

Degradation-aware Feature Interpolation (DAFI) block

退化感知特征插值 (DAFI) 塊，無(wú)監(jiān)督退化特征學(xué)習(xí)方式訓(xùn)練得到的encdoer從退化圖像中抽取出V_{DR}作為退化的判別表征，該表征可以作為一種“condition”來(lái)生成自適應(yīng)的channel-wise mask。可以從上圖中看出，mask由一個(gè)mlp子網(wǎng)絡(luò)和softmax來(lái)生成。這個(gè)mask 將用于動(dòng)態(tài)特征插值從而輔助特征的融合。

在獲得退化的判別表征后，Panini-Net將其作為一個(gè)全局的退化“condition”從而指導(dǎo)退化修復(fù)，具體來(lái)說(shuō)，通過(guò)如上圖所示的mask，該mask的size為：,即channel-wise的形式。將每個(gè)mask元素用于對(duì)應(yīng)的融合特征通道的插值權(quán)重。通過(guò)如下插值公式，來(lái)利用該mask來(lái)靈活的動(dòng)態(tài)融合不同特征：

其中表示channel-wise上的點(diǎn)積。

實(shí)驗(yàn)分析&視覺(jué)效果對(duì)比

16xSR設(shè)定下的視覺(jué)對(duì)比圖，可以看到PaniniNet很好的修復(fù)了退化圖像的細(xì)節(jié)信息，保真度也非常不錯(cuò)。



消融實(shí)驗(yàn)

作者在正文消融實(shí)驗(yàn)部分重點(diǎn)探討了利用DAFI模塊作為fusion操作的增益，并對(duì)Panini-Net的關(guān)鍵超參做了剖析。對(duì)fusion操作的探討，主要是和直接利用concat+conv來(lái)fusion的常見(jiàn)操作做了對(duì)比，模型剖析部分則重點(diǎn)關(guān)注退化水平與插值比率的超參關(guān)系。

作者發(fā)現(xiàn)DAFI模塊可以更好的保留GAN先驗(yàn)特征中的細(xì)節(jié)信息，而global condition guidance可以幫助DAFI更好的去fusion特征。當(dāng)退化嚴(yán)重時(shí)，Panini-Net可以動(dòng)態(tài)增加GAN-Prior的使用比例。

結(jié)論

這篇論文重點(diǎn)關(guān)注如何更好的引入GAN Prior從而幫助人臉圖像修復(fù)問(wèn)題，作者通過(guò)無(wú)監(jiān)督表征學(xué)習(xí)和結(jié)合mask策略的插值（特征融合）模塊來(lái)將GAN prior動(dòng)態(tài)的引入到修復(fù)網(wǎng)絡(luò)中，實(shí)現(xiàn)了非常不錯(cuò)的修復(fù)效果。

審核編輯：劉清