Derivative、Notch 和 Pixotope 等公司使用 NVIDIA Vid2Vid Cameo 和 3D 人體姿態(tài)估計工具來實時驅(qū)動表演。

NVIDIA AI 工具可為各個級別的創(chuàng)作者（視覺特效和動畫工作室、創(chuàng)意專業(yè)人士，甚至是攝像頭發(fā)燒友）實現(xiàn)由深度學(xué)習(xí)驅(qū)動的表演捕捉技術(shù)。

借助 NVIDIA Vid2Vid Cameo，創(chuàng)作者可以利用 AI 從專業(yè)攝像頭或智能手機(jī)拍攝的標(biāo)準(zhǔn) 2D 視頻中捕捉面部動作和表情。這種表演可實時用于為虛擬形象、人物或繪畫制作動畫。

通過 3D 人體姿態(tài)估計軟件，創(chuàng)作者可以捕捉散步、跳舞和武術(shù)表演之類的全身動作，從而利用 AI 讓虛擬角色栩栩如生。

對于沒有 3D 經(jīng)驗的個人，這些工具可以助力他們使用智能手機(jī)視頻片段輕松制作創(chuàng)意項目動畫。專業(yè)人士可以更進(jìn)一步，結(jié)合使用姿態(tài)估計和 Vid2Vid Cameo 軟件，將自己的動作傳輸?shù)教摂M角色，用于直播或動畫項目。

創(chuàng)意工作室可以利用 AI 驅(qū)動的表演捕捉技術(shù)進(jìn)行概念設(shè)計或預(yù)視覺化，從而快速傳達(dá)特定動作在數(shù)字角色上的樣子。

NVIDIA 通過 Vid2Vid Cameo 演示表演捕捉技術(shù)

NVIDIA Vid2Vid Cameo 通過 NVIDIA AI Playground 上的演示提供，只需兩個元素即可生成頭部特寫視頻：可制作動畫的虛擬形象或繪畫的靜止圖像，以及原始表演者說話、唱歌或移動頭部的視頻片段。

該模型基于生成式對抗網(wǎng)絡(luò) (GAN) 繪制面部動作，以捕捉實時運動，進(jìn)而將該運動傳輸至虛擬角色。經(jīng)過 18 萬個視頻的訓(xùn)練，該網(wǎng)絡(luò)學(xué)會了如何識別 20 個關(guān)鍵點以對面部運動進(jìn)行建模，即編碼眼睛、嘴、鼻子、眉毛等部位的位置。

這些點從表演者的視頻流中提取，然后應(yīng)用于虛擬形象或數(shù)字角色。在下面的演示中了解其工作原理，該演示將埃德加·愛倫·坡的《十四行詩 – 致科學(xué)》的表演轉(zhuǎn)換為藝術(shù)家 Gary Kelley 創(chuàng)作的一幅作家肖像。

視覺平臺集成 NVIDIA 的 Vid2Vid Cameo 和姿態(tài)估計

雖然 Vid2Vid Cameo 可以捕捉詳細(xì)的面部表情，但姿態(tài)估計 AI 可追蹤全身的運動，這是創(chuàng)作者處理負(fù)責(zé)執(zhí)行復(fù)雜動作或在數(shù)字場景中移動的虛擬角色時所需的關(guān)鍵功能。

Pose Tracker 是一個卷積神經(jīng)網(wǎng)絡(luò)模型，可作為 NVIDIA Omniverse 3D 設(shè)計協(xié)作和世界模擬平臺的擴(kuò)展程序。它允許用戶上傳視頻片段或?qū)⒅辈ヒ曨l作為運動源進(jìn)行串流，以實時制作角色動畫。創(chuàng)作者可以免費下載 NVIDIA Omniverse，并借助分步教程開始使用。

已將 NVIDIA AI 表演捕捉技術(shù)集成到自身產(chǎn)品的公司包括：

Derivative 是基于節(jié)點的實時視覺開發(fā)平臺 TouchDesigner 的制造商，已采用 Vid2Vid Cameo，以提供易于使用的面部追蹤。

Notch 是一家為 3D、視覺效果和直播活動視覺效果提供實時圖形工具的公司，該公司使用 NVIDIA 的人體姿態(tài)估計 AI 來幫助藝術(shù)家簡化舞臺設(shè)置。Notch 用戶無需依賴自定義硬件追蹤系統(tǒng)，而是可以使用標(biāo)準(zhǔn)攝像頭設(shè)備實時控制 3D 角色動畫。

Pixotope 是一家先進(jìn)的虛擬制作公司，使用 NVIDIA AI 助力的實時人才追蹤來驅(qū)動實時制作的交互式元素。在近期的 NVIDIA GTC 大會上，這家總部位于挪威的公司分享了其工作成果，在屏幕上實現(xiàn)真實元素和虛擬元素之間的交互。