沒有什么能阻擋我們對高清無碼大圖的向往。在ICML2018上，英偉達和MIT等機構的研究人員展示了一項圖像降燥技術Noise2Noise，能夠自動去除圖片中的水印、模糊等噪音，幾乎能完美復原，而且渲染時間是毫秒級。

去水印技術又上了個新臺階。

由Nvidia、麻省理工學院和阿爾托大學開發的深度學習去噪方法，無需使用沒有“噪聲”的清晰圖像，就能夠實現完美去水印。

效果如下：

什么是圖片“噪聲”？

如果你在日落之后拍攝過照片，那么你可能對圖像的“噪聲”很熟悉了。當用攝像頭對焦光線昏暗的場景時，圖像會呈現顆粒、異常的彩色或白色斑點。

人們現在可以用軟件在一定程度上去噪或降噪，深度學習方法去噪也已經有一些解決方案，但存在一個重要缺陷：需要配對的清晰圖像和噪聲圖像來訓練神經網絡。

如何生成清晰的圖像是醫學成像檢測（如MRI）和天文圖像中的共同問題，因為這些場景根本沒有足夠的時間和光線來拍攝清晰圖像。時間在計算機圖形技術中也是一個問題。生成清晰的圖像數據來訓練降噪器的任務可能需要幾天或幾周的時間。

Noise2Noise：

該團隊使用了來自ImageNet數據集的5萬張圖像來訓練其人工智能系統，該系統能夠從圖像中去除噪聲，即使它從未見過沒有噪聲的對應圖像。

這個名為“噪聲到噪聲”（Noise2Noise）的AI系統是使用深度學習創建的，它不是基于配對的清晰圖像和噪聲圖像來訓練網絡，而是基于配對的噪聲圖像來訓練網絡，并且只需要噪聲圖像。計算機生成的圖像和MRI掃描圖像也被用來訓練Noise2Noise。

通過只使用噪聲來訓練Noise2Noise，研究人員希望這種方法可以用于已知含有大量噪聲的圖像，比如天體攝影、核磁共振成像（MRI）或大腦掃描圖像。

從左到右：輸入的噪聲圖像、去噪圖像、和原始圖像

來自IXI數據集的50名人類受試者的近5000張圖像被用于訓練Noise2Noise的MRI圖像去噪能力。在沒有人工噪聲的情況下，結果可能比原始圖像稍微模糊一些，但仍然很好地還原了清晰度。

MRI圖像去噪

Nvidia的研究人員Jacob Munkberg說：“這是一個概念證明，我們在一個公共核磁共振數據庫上進行訓練，但在未來，它可能會顯示出在實際應用中的希望。”

Noise2Noise系統通過使用一個神經網絡來實現這一點，該神經網絡使用有損的圖像來訓練。它不需要干凈的圖像，但它需要觀察源圖像兩次。實驗表明，受不同的合成噪聲（加性高斯噪聲、泊松噪聲和binomial噪聲）影響的目標圖像仍能與使用干凈樣本恢復的圖像有“幾乎相同”的質量。該系統最令人興奮的是，它可以顯著減少圖像渲染所需的時間——毫秒級別。

研究人員在論文中寫道：“我們觀察到，在適當的，常見的情況下，我們可以學習僅從損壞的示例重建信號，而無需觀察干凈的信號，并且其效果與使用干凈樣本一樣好。如我們在下文所展示的，從統計角度來看，我們的結論可能是微不足道的，但在實踐中，通過解除對清潔數據可用性的要求，這種方法顯著簡化了學習信號的重建。”

實驗：

我們通過實驗研究了噪聲目標（noisy-target）訓練的實際特性，并確定了不需要干凈目標的各種情況。

加性高斯噪聲（Additive Gaussian noise）

首先，我們用加性高斯噪聲研究噪聲目標的影響。這是一種簡單的分布，我們可以從中抽取樣本，從而通過破壞干凈的圖像來生成無限數量的合成訓練數據。

對高斯噪聲去噪的示例

這里，我們的baseline是最近state-of-the-art的方法“RED30”，這是一個具有128個特征圖的30層的分層殘差網絡，已經被證明是非常有效的。

對加性高斯噪聲的去噪性能

來自3個測試數據集KODAK, BSD300和SET14的PSNR結果，包括高斯噪聲、泊松噪聲和Bernoulli noise噪聲

泊松噪聲（Poisson noise）

泊松噪聲是照片噪聲的主要來源。它和高斯一樣是零均值，但是很難去除，因為它與信號有關。

對Poisson noise去噪的示例

眼部的細節

高斯噪聲、泊松噪聲和Bernoulli noise噪聲的示例結果。

去除圖像中文字的效果：

從此不怕彈幕擋臉

如果要去除圖像中的文字，正確答案是中間值（L1 loss）而不是平均值(L2 loss)

隨機值脈沖噪聲用噪聲代替了一些像素，并保留了其他像素的顏色。

脈沖噪聲去噪示例

在隨機值脈沖噪聲的情況下，模式（L0）產生了無偏的結果，與平均值（L2）或中間值（L1）不同

這項工作將于本周在瑞典斯德哥爾摩召開的ICML會議上公布。