近期，由英偉達的AI團隊為GAN創造了一種新的生成器，連GAN之父Goodfellow也忍不住發出稱贊。從下圖我們可以看到很多的清晰的人像，但這些并不是照片，而是一組完全由計算機生成的圖片。

這個結構不需要人類監督，可以自動分離圖像中的各種屬性。這樣，在或粗糙或精細的不同尺度上，人類便能自如地控制GAN的生成。

英偉達研究人員在論文中寫道，他們提出的新架構可以完成自動學習，無監督地分離搞基屬性以及生成圖像中的隨機變化，并且可以合成進行更直觀且特定于比例的控制。也就是說，這種新的生成器在生成和混合圖像，特別是人臉圖像時，可以更好地感知圖像之間有意義的變化，并且在各種尺度上針對這些變化做出引導。

研究人員使用的舊系統可能產生兩個“不同”的面部，這兩個面部其實大致相同，只是一個人的耳朵被抹去了，兩個人的襯衫是不同的顏色，而這些并不是真正的面部特異性特征，不過系統并不知道這些是無需重點關注的變化，而當成了兩個人來處理。

1.Generation

什么是生成（generation）？就是模型通過學習一些數據，然后生成類似的數據。讓機器看一些動物圖片，然后自己來產生動物的圖片，這就是生成。

以前就有很多可以用來生成的技術了，比如 auto-encoder（自編碼器），結構如下圖：

你訓練一個 encoder，把 input 轉換成 code，然后訓練一個 decoder，把 code 轉換成一個 image，然后計算得到的 image 和 input 之間的 MSE（mean square error），訓練完這個 model 之后，取出后半部分 NN Decoder，輸入一個隨機的 code，就能 generate 一個 image。

但是 auto-encoder 生成 image 的效果，當然看著很別扭啦，一眼就能看出真假。所以后來還提出了比如VAE這樣的生成模型，我對此也不是很了解，在這就不細說。

上述的這些生成模型，其實有一個非常嚴重的弊端。比如 VAE，它生成的 image 是希望和 input 越相似越好，但是 model 是如何來衡量這個相似呢？model 會計算一個 loss，采用的大多是 MSE，即每一個像素上的均方差。

第一張，我們認為是好的生成圖片，第二張是差的生成圖片，但是對于上述的人來說，這兩張圖片計算出來的 loss 是一樣大的，所以會認為是一樣好的圖片。

這就是上述生成模型的弊端，用來衡量生成圖片好壞的標準并不能很好的完成想要實現的目的。于是就有了下面要講的 GAN。

2.GAN

GAN 是如何生成圖片的呢？首先大家都知道 GAN 有兩個網絡，一個是 generator，一個是 discriminator，從二人零和博弈中受啟發，通過兩個網絡互相對抗來達到最好的生成效果。流程如下：

主要流程類似上面這個圖。首先，有一個一代的 generator，它能生成一些很差的圖片，然后有一個一代的 discriminator，它能準確的把生成的圖片，和真實的圖片分類，簡而言之，這個 discriminator 就是一個二分類器，對生成的圖片輸出 0，對真實的圖片輸出 1。

接著，開始訓練出二代的 generator，它能生成稍好一點的圖片，能夠讓一代的 discriminator 認為這些生成的圖片是真實的圖片。然后會訓練出一個二代的 discriminator，它能準確的識別出真實的圖片，和二代 generator 生成的圖片。以此類推，會有三代，四代。。。n 代的 generator 和 discriminator，最后 discriminator 無法分辨生成的圖片和真實圖片，這個網絡就擬合了。

3.GAN2.0到GAN3.0

使用基于風格的生成器的GAN2.0，在各個方面都優于傳統的GAN。英特爾團隊相信，對高階屬性與隨機效應分離的研究，以及中間隱空間(intermediate latent space)的線性，將會對提高GAN合成的理解和可控性有很大的幫助。平均路徑長度度量可以很容易地用作訓練中的正則化器，也許線性可分度量的某些變體也可以作為一個正則化器。

除了人像，GAN 2.0還可以生成房間、汽車等各種場景。有了這樣的技術，未來再也不用發愁圖像數據集。畢竟這些計算機生成的“人”，已經如此的真實。總的來說，在訓練期間直接塑造中間隱空間(intermediate latent space)的方法將為未來的工作提供有趣的途徑。而未來，GAN3.0將會突破瓶頸，達到更令人矚目的視覺成就。

4.結語

目前國內做計算機視覺的以曠視科技Face++、商湯科技、極鏈科技Video++為代表的AI頭部企業為代表，以算法為核心競爭力的AI初創企業，扎根于技術，都在計算機視覺上做出了卓越的成就。計算機視覺的研究和發展具有極其重要的意義，不但滿足人工智能應用的需要，如在計算機實現人工的視覺系統的需要。其次這些成果可以安裝在計算機和各種機器上，使計算機和機器人能夠具有“看”和創作圖像的能力。視覺計算模型的研究結果反過來對于我們進一步認識和研究人類視覺系統本身的機理，甚至人腦的機理，也同樣具有相當大的參考意義。