“變臉”技術已經不新奇，來自德國慕尼黑工業(yè)大學、斯坦福大學等的一組研究人員最近開發(fā)了一個叫“HeadOn”的AI，它可以“變人”——根據(jù)輸入人物的動作，實時地改變視頻中人物的面部表情、眼球運動和身體動作，使得圖像中的人看起來像是真的在說話和移動一樣。

來自德國慕尼黑工業(yè)大學、斯坦福大學等的一組研究人員最近開發(fā)了一個AI，它可以將你的實時的面部表情、眼球運動和姿勢轉換成肖像，使得圖像中的人看起來像是真的在說話和移動。這種技術創(chuàng)造的肖像非常逼真，甚至逼真得令人不安。

這個AI被稱為HeadOn，創(chuàng)造它的人正是去年研發(fā)了令人瞠目結舌、引發(fā)很大爭議的“變臉AI”Face2Face的團隊。事實上，HeadOn可以說是Face2Face系統(tǒng)的升級版。

研究人員在論文里將這個系統(tǒng)稱為“首個人體肖像視頻的實時的源到目標（source-to-target）重演方法，實現(xiàn)了軀干運動、頭部運動、面部表情和視線注視的遷移”。

根據(jù)研究人員的說法，沒有其他系統(tǒng)能做到這樣。它結合了多種技術——其中大部分是由這個研究團隊首創(chuàng)或完善的。

為了解決視線注視的問題，該團隊之前開發(fā)了FaceVR：

研究團隊去年在Face2Face上所做的工作為HeadOn的大部分能力提供了框架，但Face2Face只能實現(xiàn)面部表情的轉換，HeadOn增加了身體運動和頭部運動的遷移。

在論文中，作者進一步介紹了HeadOn，這是一個用普通RGB-D相機錄制的人像視頻的重演（reenactment）系統(tǒng)。該系統(tǒng)通過不僅控制面部表情的變化，而且重演了頭部、上身的擺動和眼睛注視的方向，克服了當前的面部重演方法的局限性。也就是說，重演了視頻中的整個人體。

HeadOn技術的圖示

這個方法的核心是將對變形代理的精確跟蹤與基于視圖的紋理相結合，進行基于視頻的重新渲染。

為了實現(xiàn)這一目標，研究人員提出了一種新方法，可以快速、自動地從一個簡短的RGB-D初始化序列中構建人的頭部和軀干的幾何代理（proxy）。這個虛擬形象具有完整頭部的參數(shù)化3D模型，使用混合形狀進行表情控制，并與個性化的上身模型集成。

自動合成一個上半身模型

一種新的實時重現(xiàn)算法利用這個代理來真實地映射面部表情和眼睛注視，以及捕獲的源參與者對目標參與者的頭部動作和身體動作。

為此，研究人員提出一種新的基于視頻的渲染方法，合成重新映射的目標人像視頻。

部分結果

總結而言，這個研究的貢獻如下：

快速自動構建個性化的幾何代理，嵌入?yún)?shù)化的人臉、眼睛、整個頭部和上半身模型；

提出一種逼真的、基于視圖的、與姿勢相關的紋理和合成方法；

對source actor的穩(wěn)健的跟蹤方法；

以及實時source-to-target 重演的完整人像視頻。

爭議、改進和局限性

視頻演示甚至有些令人毛骨悚然，你幾乎立即可以想到壞人會利用這種技術做出什么可怕的事情。試想一下，視頻通話中的人有可能是假冒的，這太可怕了！

但是，任何技術都有可能用于邪惡目的，只要開發(fā)者能以某種方式使輸出可以檢測，那么至少可以防止AI被濫用。值得一提的是，這個AI的積極應用有很多。正如研究人員所說：

盡管當前的面部重現(xiàn)技術效果令人印象深刻，但它們在操控類型上仍然存在著根本性的限制。例如，這些方法只能修改面部表情，但頭部的姿態(tài)很僵硬，例如頭的方向一直是保持不變的，不會隨著輸入視頻而變。因此，這樣的技術能實現(xiàn)的只是細微的變化，例如張開嘴，或皺皺眉。

如果你曾使用Animoji或Bitmoji來聊天，你可能已經注意到這些表情看起來是多么不自然——至少對我們這些看動畫片長大的人來說很不自然——說話時不會動腦袋和脖子，面部表情也只有那幾種。例如，當一個人皺眉時，通常會伴隨著低頭和耷拉肩。這些微妙的動作是我們身體語言的一部分，沒有身體動作，只有一個會說話的腦袋就顯得很奇怪。HeadOn修復了這個不和諧的問題，并通過將幾個先進的神經網絡結合在一起，產生了更為自然的結果。

局限：對長頭發(fā)的人處理不怎么好

這個系統(tǒng)當然還不是完美的；在高清分辨率下進行測試，除了最遲鈍的觀眾之外，所有人都覺察到圖像被操縱了。而且，根據(jù)研究人員的說法，這個AI不怎么會處理長頭發(fā)的人，產生的輸出較為粗糙。但這些小問題未來可以解決。

這個“變臉”項目已經持續(xù)多年，未來，HeadOn這樣的AI欺騙人類的概率很可能會達到99%。