文物3D數(shù)字化的需求

首先，文物3D數(shù)字化的結果應是高保真的，即要求做到每一處細節(jié)均應嚴格忠實于原作，而且不僅僅是外形的高保真，還包括色彩、圖案、質地、不可移動文物的擺放位置和擺放方向等，比如圖案不能產生拉伸、玉器瓷器等不同質地應與原物忠實等，不能引入主觀成分，否則失去文物數(shù)字化的價值。

文物數(shù)字化需滿足文物信息獲取的完整性，具體包括：文物的形狀（點的空間分布）、色彩、圖案、質地（表面和內部的光學屬性）、不可移動文物的擺放位置和擺放方向、病蟲害現(xiàn)狀、蘊藏在文物中的文化內涵等。而且，全部可見信息應被數(shù)字化，不應出現(xiàn)空洞，包括文物的內部。

文物數(shù)字化還應要求采集時不能對文物造成任何破壞，包括對文物的物理損壞和所使用的高功率光源對顏料的影響等。尤其是不可移動文物，不能為了采集而改變文物本身擺放的方位，將文物從原處搬到空地上。

文物的數(shù)字化應達到足夠高的精度，尤其是在需要將文物數(shù)字化保存作為研究依據(jù)和一比一重建依據(jù)時，另外還應考慮近距離細節(jié)展示以及大屏幕沉浸感展示的需要，比如壁畫中的細線條，在投射到球幕或巨幕上也應保持不模糊且沒有馬賽克。

文物數(shù)字化之后得到的海量數(shù)據(jù)，應進行高效地組織，以便快速檢索和調度。

3D數(shù)字化方法探秘

目前文物的3D數(shù)字化，主要有三種方法：

（1）手工3D建模

顧名思義，手工3D建模就是借助3D建模軟件進行手工建模，常用的3D建模軟件有Maya， 3DSMax， Rhino， SolidWorks， SketchUp， C4D等等。

這種方法的優(yōu)點是，如果3D建模師足夠優(yōu)秀，可以做出非常精美的3D模型。

然而，其缺點包括：

l 文物的3D數(shù)字化有著非常嚴格的要求：必須嚴格忠實于原作，而手工建模會引入相當大程度的主觀因素，其準確程度取決于建模師的個人經驗與技巧，就如同臨摹一副古畫，也許畫師臨摹得非常美，甚至都超過了原作，然而其結果依舊是臨摹品或者贗品，而原作的價值是無法取代的。

l 手工3D建模的門檻比較高，工序較復雜，造成人員短缺，產能非常低。

（2）3D掃描

3D掃描，就是借助激光3D掃描儀、結構光3D掃描儀等設備來獲取物體表面點的3D信息，其優(yōu)點是能夠獲取精度很高，而且也相對較準確的幾何信息，因而被廣泛應用于工業(yè)自動化、建筑自動化等場景。

不過3D掃描也存在一定局限：

l 很多情況下3D掃描只能獲取幾何信息（而且還會出現(xiàn)空洞部位需要手工填補），得到的只是灰度的3D模型（稱為素模），沒有豐富的顏色和紋理，更談不上質感，就像石膏像一樣，如下圖。如果要獲取顏色和紋理，還需要手工進行貼圖，這樣，也會帶來最終模型的非客觀；而物體的質感，還需要采取其他方法才能獲取。

l 部分3D掃描儀也能獲取簡單的貼圖，但是對于文物（往往存在復雜的細節(jié)），會造成細節(jié)部位貼圖的拉伸、接縫和模糊，下圖即通過3D掃描儀得到的結果：

3D掃描儀所造成的細節(jié)部位的貼圖拉伸、

l 激光3D掃描產生的高強度能量，會對文物造成損害。

l 3D掃描會產生大量的冗余數(shù)據(jù)，不利于實現(xiàn)實時的互動展示。現(xiàn)在通常采取的做法，是對3D掃描生成的模型進行簡化（也稱為“優(yōu)化”），才能實時運行，但簡化之后的模型，已經失去了幾何模型的精確性。

（3）基于立體視覺的3D重建

這里的立體視覺指的是計算機立體視覺，是一種利用多幅圖像來恢復物體3D信息的方法。

根據(jù)圖像獲取方式的區(qū)別，計算機立體視覺又可以劃分成普通立體視覺和光流（optical flow）立體視覺兩大類。普通立體視覺研究的是由多個攝像機同時拍攝下的多幅圖像，而光流法中研究的是單個攝像機沿任意軌道運動時拍下的多幅圖像。

以下是基于計算機立體視覺進行3D重建的基本步驟：

1） 圖像獲取：即用攝像機獲取3D物體的2D圖像。光照條件、相機的幾何特性等對后續(xù)的圖像處理造成很大的影響。

2）相機標定：通過相機標定來建立有效的成像模型，求解出相機的內外參數(shù)，這樣就可以結合圖像的匹配結果得到空間中的3D點坐標，從而達到進行3D重建的目的。

3）特征提取：特征主要包括特征點、特征線和區(qū)域。大多數(shù)情況下都是以特征點為匹配基元，特征點以何種形式提取與用何種匹配策略緊密聯(lián)系。因此在進行特征點的提取時需要先確定用哪種匹配方法。

4）立體匹配：立體匹配是指根據(jù)所提取的特征來建立圖像對之間的一種對應關系，也就是將同一物理空間點在兩幅不同圖像中的成像點進行一一對應起來。在進行匹配時要注意場景中一些因素的干擾，比如光照條件、噪聲干擾、景物幾何形狀畸變、表面物理特性以及攝像機機特性等諸多變化因素。

5）3D重建：有了比較精確的匹配結果，結合相機標定的內外參數(shù)，就可以恢復出3D場景信息。

筆者通過基于計算機立體視覺的3D數(shù)字化技術，對大量文物進行了成功的數(shù)字化，現(xiàn)將效果與大家分享：

國家文物局春水玉的3D重建

通過立體視覺，我們不僅能精確獲取物體的3D形狀，除此之外還能同步地準確獲取紋理、材質、色彩以及質感，避免手工貼圖造成的龐大工作量和主觀因素的引入，滿足文物忠實于原作的要求（下圖右即3D數(shù)字化的結果）；

敦煌彩塑原始照片與3D模型（后者重調了

這種方法可適用于較為復雜的采集環(huán)境，且可避免對文物的損害；此外還能有效避免數(shù)據(jù)的冗余。

在獲得了文物的3D模型之后，還有很多重要問題，比如光照的還原，尤其是像洞窟里的彩塑這樣的不可移動類文物，它們實際所處的光照環(huán)境很難達到理想，其光的顏色、明暗分布等均會影響文物的色彩和材質獲取，而且在很多光照本身微弱需要使用輔助光源的情況下，數(shù)字化的結果會造成明暗接縫（見下圖），需要求出光源的數(shù)量、位置、方向、顏色、強度等信息，再通過逆向計算，去除環(huán)境光照對數(shù)字化后文物明暗接縫和色彩的影響。有了這一前提，我們再進行色彩管理，以及基于視覺的色彩校正，才能得到準確的文物色彩。

輔助光源造成的明暗接縫及其去除方法

如何讓文物“活起來”

文物除了外形之外，還有更豐富的文化內涵，包括文物的制造工藝、用途、使用方法、細部藝術價值、部分文物的特殊功用及其原理，以及所蘊涵的宗教、戰(zhàn)爭、文化、民俗故事等。有了這些內涵，文物才能真正“活起來”。

此外，對于文物而言，局部破損或丟失是很常見的情況，通過互動手段，可根據(jù)考古成果對已損壞了、缺失的文物或其局部進行虛擬的復原，在一定程度上恢復其新建時的面貌，達到修舊如新的目的。

這需要通過對文物特征的提取和知識挖掘，將其豐富的內涵從數(shù)據(jù)中提取出來，分別賦予每件文物。除此之外，還需要借助互動手段和沉浸式手段，生動地展示和呈現(xiàn)給大眾。

（1）VR/AR+AI加持的互動展示

利用VR（虛擬現(xiàn)實）、AR（增強現(xiàn)實），和AI（人工智能），可以讓文物與觀眾互動起來，讓觀眾沉浸在一個計算機模擬的數(shù)字博物館及各個文物場景中，通過親身參與激發(fā)自己的想象，并在寓教于樂的過程中輕松獲取文物的內涵和相關知識。

金縷玉衣

其中，VR與AR的重要基礎，是實時3D渲染。該技術在應用到文物領域時將面對海量的文物數(shù)據(jù)，尤其是圖形和圖像的數(shù)據(jù)。如敦煌莫高窟單個洞窟在數(shù)字化后的數(shù)據(jù)量就為數(shù)G級到數(shù)10G。虛擬現(xiàn)實互動展示還將面向復雜的文物遺存場景。文物遺存往往由于自身工藝的精湛及其因古舊而不規(guī)則，都是非常復雜的。

VR與AR技術發(fā)展到今天，正在朝著在實時互動的前提下實現(xiàn)電影質量真實感的趨勢發(fā)展。一方面要求實時，另一方面，要求將生成畫面的真實程度提高到電影質量，不能為了達到實時而對模型進行簡化，而且應該進行照片級的光照計算，并達到高清的輸出分辨率。

敦煌VR系統(tǒng)

（2）沉浸式展示

沉浸式展示，也有多種手段，包括球幕、VR頭顯、環(huán)幕、CAVE、4D、全息成像等。

這里以球幕（Fulldome）為例進行介紹。球幕是沉浸感最強的展示方式之一，并且它能脫離立體眼鏡，已經成為文物博物館領域沉浸感展示技術的發(fā)展趨勢。

球幕產生沉浸感的一個重要原理，便是其龐大的視域范圍（也叫視場角，是兩眼的觀察范圍）。因球幕放映的視域范圍可達180°，自觀眾面前延至身后，且伴有立體聲環(huán)音，使觀眾如置身其間。按照視覺理論，人的視域范圍一旦超過150°，就會產生身臨其境的錯覺。

文物球幕沉浸式展示的一大挑戰(zhàn)，便是分辨率。人眼在觀看分辨率上一般有三個檔次，由差到優(yōu)依次是“模糊感知”、“辯知”和“精確辨別”。球幕的國際標準化機構Fulldome Standards Summit（FSS）建議數(shù)字球幕電影的制作最低應滿足“辯知”的需要，此時畫面中相鄰兩象素與觀眾視點連線夾角至少應達到3弧分（Arc minutes）。文物領域對分辨率和3D數(shù)字化精度的要求遠高于“辯知”，應達到“精確辨別”的層次，而達到此目標，畫面中相鄰兩象素與觀眾視點連線夾角應達到1.5弧分，相應的畫面象素分辨率為8000×8000。下圖是我們按此標準實現(xiàn)的球幕電影效果。