對于沉浸式內(nèi)容，在ar和vr中創(chuàng)建數(shù)字化身是一個需求，但同時是一個技術(shù)挑戰(zhàn)。對于初學者來說，這或許比在3D中創(chuàng)建對象和環(huán)境要困難得多。為什么？首先，人體結(jié)構(gòu)比桌子或椅子更為復雜，所以更難復制；然后，我們已經(jīng)特別熟悉人類的動作，所以我們的大腦能夠輕易發(fā)現(xiàn)最微小的差異；最后，對于AR/VR這樣的沉浸式媒介而言，人體動畫，特別既費時又存在重重的技術(shù)困難。當然，市場存在一系列的解決方案。但我們又應如何進行選擇呢？

　　日前，體三維視頻捕捉技術(shù)開發(fā)商Volograms撰文討論了一系列的解決方案及其優(yōu)缺點，并希望這可以為大家提供一定的參考借鑒。

　　1.可定制虛擬化身

　　從卡通風格到類人風格，虛擬化身（有時稱為合成人類）是我們?nèi)祟愒跀?shù)字空間中的對應定制角色。對于普通大眾而言，我們最為熟悉的例子包括Bitmoji、蘋果的Memoji和FacebookAvatars。但實際上，你可以發(fā)現(xiàn)一系列的公司都有把虛擬化身用于AR/VR。這種數(shù)字角色通常屬于高度可定制，允許你輕松改變膚色，頭發(fā)，衣服，配件，身高等等。

　　保真度：我們需要區(qū)分兩種類型：首先，高度程式化的虛擬化身保真度非常低，比如卡通類型的虛擬化身。它們的優(yōu)點是，你可以變成別人難以通過外表或動作識別你的任何角色。實際上，即便是3D，我們對卡通角色都會感到相當舒適。

　　其他類型的虛擬化身嘗試實現(xiàn)高保真度，并使用非常逼真的特征。挑戰(zhàn)在于，我們的大腦會自動地對它們進行深入分析，而過于逼真的類人角色會導致恐怖谷效應。

　　一個有趣的方面是，行業(yè)存在允許你自動定制虛擬化身的解決方案（通常是使用一個人的照片）。

　　動畫性：一般來說，虛擬化身時都會設計成便于定制調(diào)整和制作動畫。根據(jù)虛擬化身解決方案，你將能夠?qū)崿F(xiàn)各種各樣的手勢和姿態(tài)。另外，它們可能會附帶一個運動庫或允許你導入自己的動作。

　　沉浸感：在這一方面，低保真度的虛擬化身往往要優(yōu)于嘗試實現(xiàn)高保真度的虛擬化身。在大多數(shù)情況下，你不會認為自己是在和一個真實人類分享這個空間，但這對你正在進行的工作而言可能是不重要。

　　成本：行業(yè)存在支持與特定AR/VR平臺集成的免費卡通化解決方案。你可以在UnityAssetStore等標準儲存庫發(fā)現(xiàn)功能有限，但成本和操作親民的虛擬化身解決方案。另一方面，你可以通過專業(yè)供應商尋找基于動捕技術(shù)，并且由人工智能驅(qū)動的高質(zhì)量虛擬化身。

　　時間：通常，定制和配置虛擬化身的動畫是一個非常快速的過程，但前提是你正在使用的工具提供所需的定制和動畫選項。如果需要任何裁剪，這可能會成為一個棘手且漫長的過程，或者根本無法實現(xiàn)，比方說你希望移動虛擬化身的眉毛，但相關(guān)工具根本不提供所述選項。

　　總結(jié)：對于不需要高逼真度或沉浸感的內(nèi)容，虛擬化身是一個出色的解決方案。動畫性和所需時間令其成為了交互性內(nèi)容的強大選擇，如訓練模擬器或游戲（事實上，傳統(tǒng)的游戲角色可以視為虛擬化身）。然而，如果你希望實現(xiàn)真正的沉浸感，或者希望你的內(nèi)容能夠給受眾留下深刻的印象，你應該尋找一個替代方案。

　　2.3D設計

　　人類的3D設計是使用專門的軟件從零開始創(chuàng)建人類角色的過程。你可以將其當作是繪畫人像，但這是在3D中進行。3D美術(shù)或?qū)I(yè)設計師會創(chuàng)建達到特定細節(jié)級別的模型，然后用數(shù)字骨架對其進行綁定操縱，從而使其具有動畫效果。結(jié)果，你將得到一個獨特的虛擬化身。當然，要設計一個具有與真人相似的細節(jié)特征的3D角色，你將需要難以置信的專業(yè)知識量。頂級的3D專家會根據(jù)角色的個性為數(shù)字人類量身定制視覺外觀。為了減少復雜性，設計師通常從一個預先定義的模型，一個三維掃描，一個人體模型庫開始，并產(chǎn)生混合技術(shù)和結(jié)果。3D設計的角色不僅可用于AR和VR，過去的電影中同樣有廣泛應，如《指環(huán)王》中的咕嚕、《加勒比海盜》中的戴維·瓊斯、和《玩具總動員》中的伍迪等等。

　　保真度：你可以選擇不同的外觀風格：卡通、寫實、幻想等。只要有合適的美術(shù)、工具、時間和預算，你就能實現(xiàn)其他方法難以達到的保真度。

　　動畫性：這取決于3D設計的質(zhì)量。設計精良的3D角色可以動畫化到令人難以置信的細節(jié)水平。頂級工作室甚至會用到深度學習引擎來驅(qū)動設計，這樣角色的一切，甚至膚色都會隨著動作而略有變化。在實踐中，對于一個普通的沉浸式項目，你可以用標準的工具和合理的動畫水平來設計角色，但不要期望太高的真實感。

　　沉浸感：同樣，這取決于你的設計質(zhì)量。如果技巧高超，三維設計可以帶來高水平的沉浸感。低質(zhì)量的設計可能會導致非常令人毛骨悚然的結(jié)果，或者只是給整個沉浸式體驗帶來一種低端的印象。

　　成本：根據(jù)你的方法，3D設計可能是最昂貴的解決方案。你需要內(nèi)部人才來創(chuàng)建設計和制作動畫，或者是將工作外包。另外，根據(jù)選擇，3D設計工具和硬件可能需要你支付昂貴的價格。

　　時間：一個3D設計美術(shù)可能需要幾個月的時間來開發(fā)一個合適質(zhì)量水平的人類角色。類似地，電影或3A游戲的角色可能需要專業(yè)設計師團隊花費數(shù)個星期的時間來開發(fā)。過程可以更快地完成，但這涉及到成本或質(zhì)量的權(quán)衡。

　　總結(jié)：對于高端AR/VR內(nèi)容所需要的獨特角色，而且不是直接從現(xiàn)實中捕捉的真實人物，3D設計可能是最好的解決方案，而你會看到游戲和電影大作常常會用到這種方法。如果你不追求高質(zhì)量，但又無法通過定制虛擬角色的方法來獲得所需的結(jié)果，3D設計同樣值得你的考慮。但當然，前提是你擁有合適的人才和設備，以及足夠的預算。設計的類型必須根據(jù)你的用例進行調(diào)整。

　　3.3D掃描+動畫

　　三維掃描是一種使用專業(yè)技術(shù)來分析現(xiàn)實世界中的人或物，從而生成其數(shù)字三維副本的過程。這通?？煞Q為“數(shù)字孿生”或3D掃描。行業(yè)存在各種各樣的技術(shù)，而最常見的是深度傳感器和攝影測量。深度傳感器計算對象和傳感器本身之間的距離，而攝影測量則使用從不同位置和角度拍攝的照片，并使用專門的軟件將它們拼合在一起以形成三維模型。就其本身而言，人類的3D掃描就像是一個靜止的數(shù)字雕塑，它們需要用一個數(shù)字骨骼進行綁定操縱，并進行數(shù)字“蒙皮”，這樣才能動畫化。換言之，模型的關(guān)節(jié)和活動組件需要識別和編程，并且模型的形狀在這一過程中不會瘋狂地改變。

　　保真度：根據(jù)你能負擔的預算，你可以考慮不同的質(zhì)量等級。好萊塢工作室使用高質(zhì)量的3D掃描裝置，但你可以通過智能手機攝像頭來實現(xiàn)基本的3D掃描。保真度問題會在動畫化過程中出現(xiàn)：要人為地對三維掃描進行綁定操縱和蒙皮非常困難，這樣做通常會導致機器人般或木偶般的不自然效果。只有頂級工作室的合格3D美術(shù)團隊才能通過靜態(tài)掃描實現(xiàn)3D的逼真度。目前甚少能夠?qū)崿F(xiàn)出色效果的自動化工具。

　　動畫性：如前所述，這是3D掃描的最大限制。3D掃描本質(zhì)為靜態(tài)。綁定操縱和蒙皮是持續(xù)不斷的技術(shù)挑戰(zhàn)，若缺乏熟練的美術(shù)，標準工具將難以提供令人信服的結(jié)果。但如果保真度和沉浸感不是優(yōu)先考慮事項，行業(yè)存在一系列值得考慮的軟件解決方案。

　　沉浸感：如果能以高標準拍攝并制作動畫，由3D專家團隊完成的3D掃描能夠?qū)崿F(xiàn)令人信服的數(shù)字人類，并帶來高度沉浸感的體驗。對于采用標準的綁定操縱和蒙皮技術(shù)，所有質(zhì)量級別的3D掃描都會有一種恐怖谷般的外觀和感覺。

　　成本：如果你希望自己進行3D掃描，一個3D掃描裝置通常需要你購買幾十個攝像頭，外加一系列的配件。攝影測量軟件的成本可以接受，而運行重建過程不是什么高深的科學。另一個選擇是雇傭一個3D掃描工作室來完成特定的工作，這甚至可能會降低成本。如果這兩個選項都不行，你可以使用一個攝像頭并從不同的角度捕捉人像，然后進行重建，但這將是一個耗時的細節(jié)向過程。

　　同樣，將3D掃描變成一個可動畫化的數(shù)字人類，你需要團隊擁有優(yōu)秀的3D專業(yè)知識，或甚至不能提供最令人興奮的結(jié)果的昂貴軟件解決方案。

　　時間：如果你有你的三維掃描設備或有權(quán)訪問一家提供該服務的公司，三維模型的捕獲不是一個耗時的過程。就像上面提到的，3D掃描可以用一個攝像機從不同的角度捕捉一個人，但這需要時間和一定的專業(yè)水平。

　　標準動畫制作不是一個耗時的過程，但會導致有限的結(jié)果。為了達到一個像樣的質(zhì)量水平，你需要更長的時間來完成捕獲后過程。你可以參閱這篇關(guān)于華納音樂如何為歌手CARYS的粉絲們制作體驗的文章，它說明了從3D掃描創(chuàng)建專業(yè)動態(tài)3D模型的背后，以及在使用動捕技術(shù)創(chuàng)建動作后所產(chǎn)生的效果。

　　總結(jié)：傳統(tǒng)上，3D掃描與動畫相結(jié)合一直是將真人帶到AR和VR或其他3D世界（如游戲）的首選方法。當交給合格的3D設計師團隊時，這是一個非常強大的工具組合。但在大多數(shù)情況下，你的公司可能缺乏這樣的團隊，所以3D掃描可能不是你的選擇。正如上述討論一樣，標準的綁定操縱和蒙皮技術(shù)會令模型看起來粗糙，有時甚至會出現(xiàn)恐怖谷效應。在這種情況下，你會犧牲沉浸感。體三維視頻（見下文）能夠解決這個問題，并你提供了一個更為自然的結(jié)果。當然，如果你正在創(chuàng)建一個較長的AR/VR內(nèi)容或一個具有多個角色的內(nèi)容，體三維視頻意味著比3D動畫掃描更大的文件。

　　4.2DBillboards

　　2DBillboards是一個集成到3D空間中的普通視頻剪輯，而你會感覺它仿佛是在3D之中。對于無法真正移動的AR/vr體驗（所謂的三自由度/3DOF），它是值得考慮的方案。在這種情況下，即使你身體移動，你感知虛擬環(huán)境的位置，包括Billboard都不會改變。但在糟糕的實現(xiàn)中，Billboards看起來就像是電影舞臺上的一塊扁平紙板，它會打破體驗的沉浸感。

　　保真度：作為一段視頻，當從單個角度看時，2DBillboards可能能夠提供高保真度。但它將局限于一個非常具體的視角，而且它不能與AR/VR體驗提供的3D效果和照明相結(jié)合，所以它很難描繪深度。

　　動畫性：2DBillboards幾乎不可能動畫化。你在原始視頻中錄制的內(nèi)容就是你搗鼓的對象。諸如DeepFake等視頻編輯技術(shù)可能會幫助你稍微調(diào)整一下動作，但你無法創(chuàng)建一個交互式片段。

　　沉浸感：2DBillboards沒有沉浸感，對AR/VR而言是一個非自然的解決方案。在非常特殊的情況下（3DOF，特定的照明等），它們可能會實現(xiàn)不錯的效果。但即使你一動不動，人眼都會感覺到過于2D的元素。一般來說，在沉浸式應用程序中，當內(nèi)容不靠近用戶位置且深度效果最小時，2DBillboards將能夠起效。

　　成本：這是2DBillboards最大的優(yōu)勢。創(chuàng)建它們意味著制作正常的視頻（有或沒有綠屏），然后分割背景。硬件一點也不貴，只要有合適的軟件或一點時間，你不需要專門的技能就能進行操作。以一種看起來還過得去的方式將內(nèi)容整合到AR/VR體驗中可能是一個更大的挑戰(zhàn)。

　　時間：視頻拍攝速度快，綠屏分割時間不應該太長。因此，所需的時間將很大程度上取決于你希望對內(nèi)容進行集成的程度。

　　總結(jié)：2DBillboards一般不太適合AR/VR體驗。一旦用戶移動，魔咒就會打破。但我們建議在3種情況下使用2DBillboards：

　　當你的預算非常有限，但你又確實需要把一個特定的人物帶到體驗中；人物位于遠景，在一個用戶永遠不會靠近的位置；當你確實只是希望在AR或VR空間呈現(xiàn)一種高清視頻的外觀和感覺時。例如，這可能有助于你非常準確地描述紋理、透明度、頭發(fā)和其他難以在3D立體視頻中重現(xiàn)的元素。

　　5.體三維視頻

　　體積視頻是一種捕捉人或物并生成一系列三維模型的技術(shù)。換言之，體三維視頻之于3D掃描就像視頻之于攝影一樣。一般來說，你可以把體三維視頻的每一幀都看作是3D掃描。因為它直接捕捉現(xiàn)實，你可以用它把真實的人類準確地帶到AR/VR之中。由于它是三維，你可以從任何角度看到內(nèi)容。從技術(shù)上講，體三維視頻就像3D掃描一樣，同樣是基于多攝像頭裝置，其中可以包括深度傳感器。事實上，一個體三維捕捉設備非常類似于一個3D掃描設備，只是它設置成記錄視頻而非圖片。

　　保真度：這是體三維視頻的關(guān)鍵優(yōu)勢之一。它的優(yōu)點是形狀和動作不是分開生成，而是直接在3D中捕捉移動的人物。沒有一種方法可以在沒有高質(zhì)量美術(shù)的監(jiān)督下達到這種自然逼真度。與其他技術(shù)類似，體三維視頻將根據(jù)你的預算和部署平臺提供不同級別的保真度。配備100多個攝像頭的精密裝置可以提供非常高的質(zhì)量。但對于大多數(shù)目的來說，這可能是用牛刀殺雞，因為當你使用最先進的體三維視頻重建軟件時，你可以用15個攝像頭獲得非常逼真的結(jié)果。基于多個深度傳感器和攝像頭的更簡單裝置可能會產(chǎn)生具有噪點，低分辨率或根本不是完全三維的低質(zhì)量內(nèi)容。

　　動畫性：體三維視頻和普通視頻一樣不需要動畫。你可以從現(xiàn)實中捕捉AR/VR體驗所需的動作，從而使其具有最大的保真度。反過來，體三維視頻在重新設置動畫方面受到限制：你可以對其進行綁定操縱并對其進行蒙皮，但有可能會失去原始捕獲的真實性和保真度。與3D掃描相比，它有兩個主要優(yōu)勢：

　　首先，你有關(guān)于人物如何運動的內(nèi)置信息，因此你可以精準地確定驅(qū)動運動的數(shù)字骨骼。其次，你可以使用原始的動作并調(diào)整它們以更好地匹配你的故事（例如，改變時間、視線、方向），而不是完全重新設置動畫。事實上，有公司專門從事這種體三維內(nèi)容的后期制作。未來，深度學習系統(tǒng)可能會從原始的體三維視頻中學習，并用全新的但逼真的動作來實現(xiàn)動畫捕捉。

　　沉浸感：與一個體三維人物共享一個空間將是僅次于現(xiàn)實的交互案例。像視頻一樣，一般的外表和動作，甚至是情緒都是以原始保真度捕捉，這樣的表達和反應最為真實。由于它是全三維，所以可以集成到AR或VR空間之中，并且可以從任何角度進行體驗。你同時可以添加一定的效果，例如讓體三維角色注視著用戶。

　　成本：如果你想搭建自己的體三維裝置，最簡單的機器都適合初學者，而且價格合理，只是不能提供專業(yè)的結(jié)果。最復雜的裝置可能要花費過百萬美元，但它們可以產(chǎn)生真正高端的結(jié)果。事實上，所需的空間可能是最為昂貴的資源，亦即專門的體三維捕捉空間。如果你與一個體三維捕捉工作室合作進行一次性項目合作，成本會高于2DBillboards和標準虛擬化身，但可能會低于3D設計或3D掃描+動畫，而且體三維視頻提供了更高的質(zhì)量。一般來說，你不需要專業(yè)的人才，除非你想后期制作或重新制作你的捕獲動畫。

　　時間：這是體三維視頻之于其他方案的優(yōu)勢之一。第一步是捕捉，它所花費的時間和普通的視頻拍攝差不多。過去，處理視頻是一個漫長的過程，但目前的云解決方案已允許處理過程在幾小時，甚至幾分鐘內(nèi)完成。另一個優(yōu)點是，獲得的結(jié)果可以直接從處理管道集成到體驗之中。

　　總結(jié)：如果AR/VR內(nèi)容的關(guān)注點是人，需要以真實方式捕捉人物及相關(guān)的情感和動作，體三維視頻可能是你的最佳選擇。如果你需要在內(nèi)容中加入一個特定的人物，比如名人、品牌大使、公司高管或藝術(shù)家，這一點尤其正確。但需要尤其注意的是：如果你的內(nèi)容具有高度交互性（如游戲），你將需要結(jié)合特定的綁定操縱和蒙皮技術(shù)。

　　6.如何動畫化3D角色？

　　只有兩種方法（2DBillboards和體三維視頻）直接捕捉原始人類的動作。你可能會想知道“我如何以數(shù)字方式動畫化虛擬化身、我自己設計的3D角色或我的3D掃描呢？“從廣義上講，動畫可以分為兩類：

　　人為動畫：由人類設計或編程的動作。動作捕捉（mocap）：從真實人物提取的動作。

　　運動是一門人類藝術(shù)。我們對數(shù)字角色中的非自然運動非常敏感。人為動畫的成本可以很低，但它通常無法以高保真都描繪人類的運動和情感。從邏輯上講，動捕解決方案是一個更好的選擇，因為我們能夠捕捉和疊加真實的運動，但這存在代價：高質(zhì)量動捕設置的成本要高于體三維捕捉設置。

　　最重要的是評估你的項目的需求。如果保真度和沉浸感對你的項目而言并不重要，你可以高興地選擇人為動作。另外，3D模型的質(zhì)量和運動的質(zhì)量需要齊頭并進。盡管卡通般的設計可以很好地配合簡單的動作，但為了避免恐怖谷效應，逼真的3D設計需要非常高的運動保真度。

　　總而言之，如果你的項目能夠支持不需要動畫的解決方案，如體三維視頻，則相關(guān)解決方案是確保非常自然和高端的人體運動，并且是獲得最具沉浸感效果的最佳方法。如果你依賴動畫，而且擁有預算，你可以選擇動捕。但最終重要的是，無論選擇的方案是什么，要創(chuàng)造令人信服和身臨其境的內(nèi)容，關(guān)鍵都是你自己的創(chuàng)造力。

　　選擇正確的方法來來創(chuàng)建3D人物非常重要，有時這是一個漫長的過程。以上考慮事項可以幫助你在設計下一個AR/VR項目時的決策。你要確保為內(nèi)容選擇正確的方法，因為正確的沉浸式體驗有助于建立你的信譽，并帶來更多的客戶和項目合作。