AI 在未來幾年可能顛覆整個游戲產業制作流程。

傳統游戲制作往往需要經過原畫設定、3D 場景搭建、特效設計、3D 角色構建等多個環節完成，而在未來，這些工作都有望交給 AI 來做。

近日，Facebook AI 研究團隊描述了一個能夠從現實世界視頻中提取可控角色的系統。利用該系統，可以從日常視頻中隨意創建虛擬人物及各種姿勢動作。

三位 AI 研究人員創建的這種新方法（Vid2Game: Controllable Characters Extracted from Real-World Videos），可以將一個視頻中的真人轉換成一個 3D游戲角色，并且可以將此角色及其相關動作轉換到新背景上。研究人員稱，生成的角色可以和不同的背景互動。

據介紹，這套AI 系統主要依賴于兩個神經網絡。一個是由 Pose2Pose（P2P）網絡基于控制信號的輸入流（例如來自操縱桿或游戲手柄的控制信號）以自動回歸方式操縱給定姿勢。另一個是 Pose2Frame（P2F），在隨后給定背景圖像的情況下生成高分辨率視頻幀。它們通過“學習”視頻中的人物身體形狀、運動風格及其他特征，以此來建立游戲角色。系統最終生成的視頻具有高度的個性化和逼真性，可大大提升玩家的游戲體驗。

“我們的模型可以從視頻中提取一個角色，并能控制它的動作。”該論文的共同作者在文章中解釋道，“模型能有效地捕捉到人的動態和外觀，生成角色的圖像序列，生成的視頻可以具有任意背景”。研究人員稱該系統具有足夠強的魯棒性，可在動態背景下任意定位提取人物特征。

首先，需要將包含一個或多個人物特征的視頻輸入到針對特定域（例如，跳舞）訓練的 Pose2Pose 網絡，將其運動狀態和自身隔離，用于確定哪些背景區域可以被合成圖像所替換。隨后 Pose2Frame 網絡運用這些組合的運動姿勢數據，區分場景中與角色相關的變化，如陰影、反射以及角色的獨立特征。最后與預先設計好的背景混合輸出。

在實驗部分，研究人員采集了三段視頻，每段視頻長度為五到八分鐘，視頻的主角分別是一個戶外網球運動員，一個在室內舞劍的人，和一個正在走路的人。之后與一個用三分鐘跳舞視頻訓練的神經網絡相比，該實驗結果對人物動態元素的捕捉更為成功。（排除角色服裝和鏡頭角度的變化）。

該技術投入使用后，人們將有機會成為游戲中人物的化身，自定義游戲角色，并賦予角色獨有的動作形態。這項基于 AI 技術的角色生成系統可能會催生更多不同類型的游戲，逼真且個性化可能是未來游戲行業發展的一個方向。