近日，和任天堂關系密切的日本網絡服務公司DeNA發布了一篇頗為有趣的文章：Full-body High-resolution Anime Generation with Progressive Structure-conditional Generative Adversarial Networks，即用PSGAN生成高分辨率的全身動畫。據了解，DeNA的業務涵蓋社交游戲、電子商務等領域，此前公司推出的手游《忍者天下》也在中國市場取得了驕人的成績。昔日忍者化身換裝暖暖，DeNA想用GAN做些什么呢？

以下是論智對文章的編譯。

摘要

本文提出了一種漸進結構—條件生成對抗網絡（PSGAN），它是一個能基于姿態信息生成全身的高分辨率圖像的新框架。

近年來，許多人都研究過用深度生成模型自動生成圖像和視頻，這項技術對媒體創建工具來說很有幫助，它可以被用來進行圖片編輯、動畫制作甚至是電影制作。

就動漫產業角度看，一個能自動生成動畫角色的神經網絡不僅能為創作者帶來諸多靈感，它還能為整個產業節省作畫上巨額開支。現在我們已經有了能生成人物臉部圖像的GAN，但還沒有能生成角色全身圖的工具。而且就這些生成臉部圖像的神經網絡來說，它們的圖像質量還達不到工業級作畫標準。

因此，開發一個既能生成全身圖像，又能生成高質量姿態的GAN將對制作新角色、繪制新動漫大有裨益。但達成這個目標還有兩大難點：（1）生成高分辨率圖像；（2）用特定的姿態序列生成圖像。

為了解決上述問題，我們引入PSGAN，它能根據結構信息，在訓練過程中逐步提高生成圖像的分辨率，以此細化圖像在結構上的細節特征，如生成對象的全身圖。同時，我們也在網絡上添加了任意的潛在變量和結構條件，讓它能基于目標姿勢序列生成多樣化和可控制的動作視頻。

在這篇文章中，我們用實驗證明了PSGAN的有效性，如下文這個512x512的視頻所示，視頻中的動畫角色展示了PSGAN生成的人物服裝細節、身體姿態的整體調整。

生成結果預覽

視頻展示了由PSGAN生成的各種動漫角色和動畫。首先，我們用隨機潛在變量生成大量動畫角色；其次，我們再對具體的動漫角色進行潛在插值，以生成新的動畫角色；最后，我們用連續的姿勢序列制作出流暢的動畫。

換裝PLAY

PSGAN生成全新全身圖的主要方式是插入不同的服飾，這是利用改變潛在變量實現的。需要注意的一點是，換裝時人物的姿態是固定的。

舞動人“身”

下圖展示了指定動畫角色生成目標姿態的具體過程：

和生成服飾相反，這里我們固定潛在變量，并給PSGAN提供連續的姿勢序列。更具體地說，就是將指定動畫角色的表示映射到潛在變量內——它處于潛在空間誒，是PSGAN的輸入向量——然后用這個新的潛在變量做PSGAN的輸入，以此做到在不改變外觀的前提下改變姿態。

漸進結構的條件GAN

我們的主要想法是逐步學習具有結構條件的圖像表示。我們參考了Karras等人提出的GAN的結構，并在生成器和判別器上都添加上結構條件，這樣做之后，無論圖像分辨率是什么，它們都帶有相應縮放比例的姿態信息。

PSGAN的生成器和判別器

如上圖所示，N×N的白色框表示的是NxN空間分辨率下正在工作的可學習卷積層，灰色框表示的則是結構條件的不可學習的下采樣層。

訓練數據

本文用到的數據集有Unity合成的原始頭像動漫角色數據集，以及由Openpose檢測到的關鍵點的DeepFashion數據集。PSGAN的訓練要求是有成對的圖像和成對的關鍵點坐標。

Avatar Anime-Character數據集

我們按照以下3個要求為PSGAN重新構建了新數據集：

姿態多樣性。為了生成平滑、自然地圖像，我們需要各式各樣的姿態。

訓練圖像的數量。通過用Unity生成3D頭像，我們無需任何手動注釋就可以獲得大量帶注釋的合成圖像。

背景消除。我們把背景統一設置成白色，以避免不必要的信息對圖像產生負面干擾。

我們把單個角色的幾個連續動作分解成600個姿勢，并不捉每個姿勢的關鍵點。通過對79種服飾進行同樣的處理，我們最終獲得了47,400張圖像。此外，我們還根據3D模型的骨骼結構獲得了20個關鍵點。

下圖是幾個訓練樣本（上：動漫角色；下：姿態圖）：

對于這個數據集，我們用Adam收斂網絡，其中β1= 0，β2= 0.99。當生成器中的圖像分辨率為4x4—64x64時，學習率為0.001。隨著尺寸逐漸變為128x128、256x256、512x512，學習率也逐漸降低為0.0008、0.0006和0.0002。

DeepFashion數據集

PSGAN利用姿態信息在圖像生成網絡上施加結構條件。我們使用Openpose從沒有關鍵點注釋的圖像中提取關鍵點坐標。

同樣的，這里我們還是使用Adam，β1= 0，β2= 0.99，學習率α始終是0.0008。

不同GAN的比較

我們先來看看PSGAN在多樣性上的表現。如下圖所示，PSGAN為每個姿勢條件生成各種各樣的圖像。

接下來，我們再來看看PSGAN在生成姿態上的表現。在對照組中，PG2和DPG2需要同時輸入源圖像和相應的目標姿態才能生成目標圖像，但PSGAN只需調整潛在變量就能使圖像具備目標結構，它所受到限制更少。

下圖對比了PG2、DPG2和PSGAN生成的姿態圖，其中前兩者所需的參考姿態圖沒有顯示出來。通過對比我們可以發現，PSGAN生成的圖像和PG2、DPG2一樣自然合理，但又一定的瑕疵。由于這是通過調整潛在變量實現的，所以從理論上來說，如果變量調試得完美，PSGAN同樣能生成具有相同的質量的姿態圖。

最后，我們還評估了PSGAN與Progressive GAN在結構一致性上的表現。實驗結果顯示，無論是細節還是全局，PSGAN生成的圖像都更自然，而且它在結構細節上的處理也更合理。

小結

本文展示了PSGAN在生成平滑、高分辨率動畫上的水平，也通過實驗證實它能基于512x512的目標姿勢序列生成動畫角色全身圖和相應動畫。由于實驗條件有限，神經網絡在一些方面還發揮欠佳，所以未來我們還會在更多條件下進行試驗和評估。

此外，經處理的Avatar Anime-Character數據集即將開放。