來自騰訊 ARC Lab 的研究者們提出利用無監督的度量學習， 來訓練現實場景下可調節的圖像超分辨率任務。

現實世界超分辨率 （Real-world super-resolution） 是指從包含真實退化的低分辨率圖像中復原得到高分辨率的圖像。 可調節的現實世界圖像超分辨率是一個很有挑戰的任務， 因為降質 （degradation） 過程復雜且未知，可調節的交互機制很難通過有監督的訓練來完成。 對于可調節的圖像超分辨率， 之前的工作主要在經典退化的仿真數據上進行研究，也就是說我們已知了退化類型和退化強度。雖然這種設計在仿真數據上有不錯的表現，但在現實場景下的應用仍然存在很多問題：

經典的仿真退化很難模擬復雜的現實世界退化，訓練出的網絡在現實世界數據上重建效果較差。同時，這種設定下訓練得到的可調節交互機制在現實世界數據上的調節效果也會大打折扣。

雖然高階退化可以用來仿真現實世界的低清圖像，但這種仿真退化下的退化強度是未知的，很難通過有監督的訓練來構建這種可調節交互機制。

最近無監督的對比學習在底層視覺領域受到越來越多的關注。這類方法方便了復雜降質特征的提取，這給來自騰訊 ARC Lab 的研究者們提供了一個思路： 是否可以利用對比的方式無監督的構建現實場景下圖像超分辨率的可調節交互機制？

這篇工作的核心是利用度量學習在高階仿真退化中，通過對比不同樣本退化強度大小的方式無監督地構建退化強度的度量空間。度量空間中的退化得分不代表真實的退化強度，但可以反映退化強度的相對大小。本篇文章提出的方法（MM-RealSR）通過度量空間中的退化得分來構建現實場景下圖像超分辨率的可調節交互機制。 本文提出了在復雜的退化空間中，劃分兩個度量空間，分別是廣義 noise 和廣義 blur。因為這兩種退化因素是真實場景下最為常見的也是人們最關注，和最需要調節的。MM-RealSR 在現實場景下可以達到如下圖 1 的調節效果。相比于近幾年其他可調節復原方法， MM-RealSR 不僅實現了現實場景下的可調節圖像超分辨率， 整體重建結果也更加自然。

圖 1. MM-RealSR 在真實場景下的可調節超分辨率效果 現有可調節復原方案的回顧與對比 如圖 2 所示，首先來看，現有方案針對的圖像退化設定是低階的，需要已知退化類型和退化強度的。本文提出的方案面向現實場景，退化過程是高階的，未知退化類型和退化強度的。

圖 2. 本文提出方案與現有方法的對比 MM-RealSR 結構 本文關注真實場景中最常見的兩種退化因子，廣義 noise 和廣義 blur，并對這兩種退化因子做了一般化的定義如圖 3 所示。其中 noise 包含高斯噪聲、泊松噪聲，和 JPEG 壓縮等；blur 包含各向同性、各向異性，以及隨機尺寸變換等模糊因素。

圖 3. 退化因子的定義 針對這兩種退化因子，本文提出的無監督退化估計模塊如圖 4 所示。通過度量學習，該模塊將難以量化的現實世界退化強度映射到兩個獨立的度量空間之中。通過不同退化強度之間的大小對比，構建度量空間中的距離關系。本文額外通過一個錨點損失函數限制度量空間的分布。雖然度量空間中的退化得分無法反映真實的退化強度，但可以體現退化強度的相對大小關系。本文將無監督的退化估計模塊和圖像超分辨率模塊進行聯合訓練，來構建退化得分和重建結果之間的可調節關系。

圖 4. 基于度量學習的無監督退化估計模塊 本文提出的總模型結構如圖 5 所示。由退化估計模塊、狀態變量生成模塊，以及重建模塊構成。其中狀態變量生成模塊將預測到的退化得分轉化成一組狀態變量，并將這組狀態變量以仿射變換的方式注入圖像重建模塊當中去，起到調節重建結果的作用。實驗證明，本文提出的方法兼顧優越的重建效果和可調節能力。

圖 5. 基于度量學習的可調節現實世界圖像超分辨率網絡 損失函數 本文通過 L1，Perceptual 和 GAN 復原損失函數來保證圖像重建質量，通過度量損失函數（margin ranking losses）來訓練噪聲度量空間和模糊度量空間。度量損失函數的表達式：

為了控制度量空間中評分的分布，本文還提出了一個錨點損失函數：

和現有的現實世界圖像超分辨率工作 Real-ESRGAN 類似，本文采用高階退化的仿真數據作為訓練數據。更多的細節請參見論文。 實驗結果 研究者們在現實世界的低質量數據上做了重建效果的測試：

可以看到，本文提出的方法在具備交互能力的基礎上，超分辨率的性能也達到了 SOTA 的水平，主觀結果也更加美觀自然。 研究者們在現實世界數據上對無監督退化評分器的評分能力進行了測試：

可以看到，無監督退化評分器可以較好地評估現實場景下的退化強度。 研究者們在現實世界數據上對網絡的交互重建能力進行了測試：

可以看到，對比現有方法，MM-RealSR 在交互重建能力上有更好的表現。它的交互范圍更大，重建效果更好。 小結 本文提出了在真實場景下，可調節的維度主要是廣義 noise 和廣義 blur 兩方面。通過無監督的度量學習，首次實現了真實場景下可調節的圖像超分辨率。提出的方法在調節能力和超分辨率性能上都取得了優異的表現。