編者按：近日，來自Hacettepe大學和阿姆斯特丹大學的研究人員在網上發布了一個短視頻，在外網引起極大反響。視頻中展示的是一個新型圖像編輯工具，不少人把它稱為“未來的Photoshop”，因為只需選擇天氣、季節、時間段等屬性，它就能即時改變圖片內容，把春天變成冬天，把中午變成黃昏，同時原圖語義細節也會被極大保留。更驚人的是，只需選中繪制目標，比如“樹”，待研究人員在圖中畫出一篇區域后，這塊區域就會被樹填充，效果自然逼真。

目前作者只公布了調整圖像自然屬性的研究論文：Manipulating Attributes of Natural Scenes via Hallucination，其Pytorch代碼會在近期放出，有興趣的讀者可以關注Hacettepe大學的相關網頁。

下面是論文的大致內容：

摘要

在本研究中，我們探索構建了一個two-stage框架，允許用戶直接操作自然場景的高級屬性。這種方法的關鍵在于深層生成網絡，它能基于原始圖像生成“幻覺”，即好像是在不同季節、不同天氣條件、一天中的不同時間段下拍攝的同一場景。

一旦根據給定自然屬性生成了“幻覺”場景，這個“幻覺”就能結合輸入圖像做風格遷移，同時保持完整的語義細節，輸出逼真的圖像屬性調整效果。和大多數風格遷移方法不同，由于輸入圖像的目標高級屬性來自“幻覺”，它無需額外的參考圖像。此外，它允許在單個模型內基于瞬態屬性集同時操縱給定場景，因此可以避免訓練多個神經網絡。

根據全面定性定量實驗的結果，我們提出的方法很有競爭力

簡介

園里樹木有的枝枒還覆蓋著積雪，影影綽綽顯現在多云的天幕上。月光慘淡。——巴爾扎克《薩拉金》

在我們的生活中，視覺世界會隨著時間和季節不斷變化其外觀。比如在日落時，太陽靠近地平線，這時西方天空會呈現宜人的紅色色調；隨著夏季到來，草地上原本鮮嫩的黃綠色被綠色取代，整體更明亮，而夏去秋來，棕色色調開始慢慢出現在各種自然風景中。

在時間、天氣和季節的影響下，自然界幾乎無時無刻不在發生視覺上的變化。我們把這種高級變化稱為瞬態場景屬性——例如陰天、霧天、夜晚、白天、日落、冬天、夏天……

圖像生成是一項非常具有挑戰性的任務，因為它的目標是輸出逼真圖像。現在，如果要實現圖像場景屬性變化，比較常見的方法是風格遷移，但這種方法需要我們提供帶有目標屬性的樣本素材。雖然有人也提出了自動風格遷移，可以讓模型自動檢索符合的素材，但它也產生了新的問題，就是我們該如何設計一種可以根據期望屬性和語義分布檢索圖像的算法。

為了克服這一點，我們提出了一種結合神經圖像生成和風格遷移的方法。首先，我們設計了一個條件圖像合成模型，它能夠在目標場景中生成具有輸入圖像類似語義內容的“幻覺”；其次，我們再用圖像風格遷移的方法，把“幻覺”移植到原始圖像中，最終輸出逼真的效果。

本研究主要貢獻：

提出了一種新的two-stage視覺屬性操作框架，用于更改給定室外圖像的高級屬性。

開發了一個條件GAN的變體，用于生成忠實于原圖語義分布的、帶有目標瞬態場景屬性的“幻覺”場景。

構建一個用布局和瞬態屬性標簽注釋的室外場景數據集。

網絡細節

上圖是本文提出框架的整體圖解，它的關鍵組件是下方這個黃色的場景生成網絡。可以發現，輸入圖像后，模型會先用簡單色塊模擬原圖語義分布，并把它作為場景生成網絡的第一個輸入。場景生成網絡的第二個輸入是瞬態屬性的連續值向量。

有了這兩個輸入，這個生成網絡能輸出和輸入圖像語義分布一致，且具有所需瞬態屬性的合成場景。在這幅新圖的基礎上，結合輸入圖像，模型就能用遷移學習生成逼真圖像。

上圖是生成網絡的整體圖解。可以發現，整個框架延續了GAN的一般特征，由一個生成器G和一個判別器D組成，兩者都以語義分布和瞬態場景屬性維條件。在模型中，語義分布被編碼為8位二進制碼，而瞬態場景屬性被編碼為40維向量。

在圖的左側，模型連接語義分布S、空間復制屬性向量a和z，將它門串聯饋送進G中獲得輸出。隨后，這個輸出再和S、a一起輸入右側的D，由判別器確定這幅圖像是否既符合原圖的語義分布，又帶有期望的瞬態場景屬性。

結果

在上述研究過程中，作者制作了ALS17K數據集，它包含17,772幅室外圖像，其中訓練集16,434幅，測試集1,338幅，有150個語義類別和40個瞬態場景屬性。目前這個數據集還沒有公開。

結合網站上的測試工具，我們檢驗了論文的具體生成效果，如下所示：

原圖

日落

冬季

多云

青蔥

在示例的兩幅圖中，霧天效果都不是很明顯，因此這里不再展示。下面是論文中的一些圖片。