iPhone X的結構光將3D感知/成像在消費電子領域徹底帶火了。其后結構光、3D ToF市場都獲得了相當快速的成長。不過2020款iPad Pro發布時，其上所謂的“LiDAR”攝像頭仍然挺讓人驚訝，包括iPhone 12 Pro手機也沿用了這種3D感知方案：5米的測量范圍的dToF方案。

我們在《手機的3D感知能力——消費電子ToF技術與市場分析報告》中曾提過，主流的兩大類ToF測距方法，iToF與dToF（indirect ToF與direct ToF）。這兩種方案各有利弊，其中dToF在手機拍照的激光對焦、前置距離傳感，以及投影機對焦等領域已經有比較廣泛的應用了，但消費電子的3D感知少見dToF方案。

除了蘋果之外，市面上主流的手機、平板所用的3D ToF，基本上都是iToF。這主要是因為iToF技術整體成熟，且成本控制到位。而dToF在3D感知方面似乎面臨諸多挑戰。

上周的MWC上海展會上，ams（艾邁斯半導體）宣布與ArcSoft（虹軟）合作推出面向移動設備的后置3D dToF傳感解決方案。這套方案預計會在今年年底開始量產。也就是說，明年市場上可能就會有大量采用dToF攝像頭的Android手機和其他移動設備問世了。

借ams的這套方案，我們也有機會更深入地去了解dToF這種測距方法。

現在流行的iToF存在一些問題

ToF（Time of Flight）是一種常見的測距方法，如果將其限定在光學領域，則ToF光學測距是指，要測得ToF模組與場景中某個對象的距離，由ToF模組的光源向該對象發出光（子）。光折返回ToF模組傳感器，計算整個過程里“光的飛行時間”，就能測得距離。

這個原理本身實際上更偏向于dToF，即直接測量。說得更具體些，dToF是指由發射端發出一個激光脈沖，經過場景中某個對象反射，回到接收端，由接收端的光電探測器檢測到。藉由抽象的“計時電路”測量全過程消耗時間，則獲得距離信息。

iToF實際上還可以做切分，包括p-iToF（基于脈沖的iToF）以及cw-iToF（基于連續波的iToF）?，F在手機上比較常見的3D ToF方案普遍是cw-iToF測量方法。這種連續波ToF方法，是針對發射端的照明，應用一個周期性的調制信號，并針對反射光測量相位差，以此來計算距離。cw-iToF可能需要多次相位差采樣來獲得結果。

Cw-iToF方法示意，這里的c代表光速，f代表調制頻率，??代表接收信號的相位差

對于一些精度要求并不高的應用而言，cw-iToF方法的優勢在于實施起來會更簡單（但精度要求高時，cwToF信號調制實施難度也不?。?，其系統成本遠低于dToF；而且cw-iToF具備較大的彈性、更快的讀出速度，也比較容易做RoI輸出這類功能。

但它也存在一個致命缺陷，從上圖中的深度計算表達式可知，要獲得更長的測量距離就需要更慢的調制頻率（f），但這樣就會限制距離精度。距離精度與背景光強度、信號強度、最大不模糊距離（c/2f）有關。在對象、背景光固定的情況下，反射信號強度隨距離增加而下降，較遠距離的對象測距就會有顯著的精度降低。

所以除了蘋果之外，市面上現有搭載了3D ToF模組的手機測量距離普遍是比較受限的。ams大中華區應用市場總監Bing Xu博士也提到了這一點。“iToF往往采用泛光投射，其距離和精度這對矛盾，在原理上很難調和。”

“iToF在不同距離下，精度是不同的，基本上是線性遞減。可能測1m的時候，精度是10mm或20mm，但距離在2m的時候精度就只有40mm?！盉ing Xu博士說，“傳統的iToF做不了遠距離，最多2、3m，絕對不能超過5m。”“但dToF是直接測來回時間，一個脈沖出去到回來，是直接的測量方法。直接的測量方法可以測得很準，跟距離長短沒什么關系?！?/p>

不過實際上，多調制頻率方法是可以緩解cw-iToF的這一問題的，只不過系統復雜度會增加。除此之外，cw-iToF方法相比p-iToF和dToF，也更容易受到多徑效應（Multipath Effects，主要是基于調幅連續波的ToF）、解調錯誤（如場景對象的光散射、材質反射率低等）、運動偽像等的影響。

另外從系統的角度來看，cw-iToF通常采用多調制頻率下相關函數的多次采樣，再加上多幀處理，后端信號處理的復雜度會比較高。所以發布會上也提到，dToF比iToF在做3D渲染時會快很多，“三維重建過程中，整個系統運行、算法運行的時間會有很大的優勢。”

那么dToF為何一直沒有普及

dToF對上述很多問題都不敏感，包括前文提到的原理更簡單，距離精度不會隨測量距離衰減，也更容易發現多徑反射問題。但dToF在消費電子產品的3D感知應用上卻很少，主要是因為其成本更高。技術層面，dToF對于發射端的光源、接收端的傳感器，還有實現同步、時間檢測相關電路要求也高。

而且dToF由于傳感器電路設計相對復雜，包括淬火電路、像素內TDC（time to digital converter）等，似乎很難做到高像素（接收端傳感器分辨率）——雖然這兩年通過3D堆疊等技術正在實現各種改進。所以dToF此前一直局限在諸如激光對焦之類的單點測距應用上。像iPad Pro 2020這樣應用3萬像素dToF方案的設備此前是真的很少見。

ams在發布會上給出一張dToF與iToF方法的簡單對比，從距離精度、動態范圍、環境光抑制、分辨率、功耗、后處理功耗、抗干擾能力等角度做了比較，前文大致上也提到了。單就這些項目的比較來看，dToF主要在“分辨率”——也就是XY平面上的精度，會相對較弱。

不過ams產品線高級市場經理Sarah Cheng提到：“以現在流行的增強現實AR為例，低功耗和遠距離成為更重要的技術指標，相較之下分辨率的要求其實并沒有那么強烈?！盿ms這次所推的方案，在應用場景上也更偏AR。

上面這張圖是不同的應用，對于分辨率、功耗、測量距離這三個指標的不同要求。”其中影像增強對分辨率要求更高，而AR則對距離有更高的要求?！癆R對3D攝像頭分辨率要求其實并不是很高，一方面可以避免過長的重建時間和功耗，而且低分辨率可以通過幀累計補償。” Sarah Cheng說。

Bing Xu博士提到：“我一直認為每項技術，要看具體的應用?？偰苷业竭m合的應用方案，無論是dToF還是iToF。我們說dToF，特別是在AR這個應用里面，在距離、精度、功耗方面是有絕對優勢的。”那么就來看一看，ams這次所推的方案究竟是什么樣。

ams的3D dToF方案

ams的這套3D dToF方案在 MWC上海展會上已經有了展示，且發布會上的演示效果上佳。先來看看這套dToF方案的一些關鍵參數：

包括1200個深度點，以及室外5m、室內10m以上的檢測距離；在全測量距離內<8mm的距離

；幀率最高100fps，在30fps幀率下功耗<300mW，“這對手機平臺就非常友好”。

從上圖也可見，系統分為兩個模組，包括高功率照明模組，以及SPAD 3D攝像頭模組——即發射端和接收端。照明模組主要是VCSEL激光器——這是ams的傳統強項了，包括多結VCSEL實現極高的峰值功率，還有VCSEL驅動器系統，針對超短脈沖的優化連接，實現高距離精度，以及低EMI輻射；整體組成還有配套的點陣光學系統（包括衍射光學器件等）；以及SPAD傳感器——dToF常見的一種光敏器件，一個光生載流子就能觸發大量雪崩電流。

且兩個模組分開，“手機廠商設計整個系統時，有更大的靈活性，在主板上做零部件的排列和設計?！?Sarah Cheng說。另外還包括一些周邊的特性，如光源需要確保人眼安全相關的電路等。

ams方面列出本次所推3D dToF方案的幾個主要特性包括：

? 在所有光強條件下（強光，弱光，室內，室外，較復雜的環境光等），在恒定分辨率下可實現較大的距離檢測范圍和較高的（不變的）距離檢測精度。其中“所有光強條件”也是絕大部分ToF方案的宣傳點，包括對背景高光的抑制技術。

? 高環境光抗擾性，與市面上提供的3D ToF解決方案相比，“峰值功率高出20倍”；

? 針對移動設備，優化最低平均功耗，特別針對房間掃描距離范圍內高幀率（>30fps）運行環境。

從這些特性也可見，這套方案的應用偏向功耗敏感的移動設備，但同時又需要為這樣的設備賦予比較可靠的AR能力。

針對移動設備后置3D dToF傳感的完整解決方案中，還包含了ArcSoft的中間件，結合RGB攝像頭輸出將depth map轉為精確的場景重建。再上層還有ArcSoft軟件，將3D圖像輸出與移動設備顯示屏結合，提供AR應用?！敖档褪謾C廠商集成的復雜度和工作量”，“與Android操作環境集成，讓移動設備OEM能夠直接集成新的dToF功能”。

單就3D dToF光學傳感解決方案來說，這一直是ams的長項。ams大中華區銷售與市場高級副總裁陳平路在會上提到，“從我們的技術平臺、產品平臺基礎上發展起來的解決方案，光學傳感器系統的解決方案，包括算法、軟件，目前我們認為在光學傳感器領域，我們應該說是唯一的一家可以提供全平臺解決方案的這么一個公司。”表現在這套“垂直鏈的光學元器件技術，完全是從ams來的?！贝饲拔覀円姷胶芏鄟碜云渌麖S商的ToF和結構光模組方案，也都能見到ams提供的組成部分。

3D ToF的應用方向在哪兒？

Sarah Cheng在會上演示了一個demo，是這套方案的完整體現（包括ArcSoft的中間件及軟件算法），也體現這套3D dToF方案實際相比iToF的優勢。

相比一般的iToF，dToF在3D渲染過程中提供了更高質量的深度圖，演示中有更精細的3D網格細節：包括覆蓋范圍更廣，渲染速度更快；對于弱光環境、對象邊角、紋理特征不明確的光滑平面等，dToF表現也遠優于iToF，從深度信息的精度到渲染速度。

另外Sarah Cheng也演示了這套方案在多徑干擾消除方面的優勢，能夠更好地分辨弱光環境、復雜對象的前后關系。這些與前文探討的dToF與iToF兩者的特點相符。這讓我們對明年Android移動設備逐漸普及3D dToF方案更為期待。

事實上ams并沒有在這場發布會上具體去談，ams是如何在技術層面實現這套方案面向移動設備的大規模量產和應用的；以及ams在這個過程中究竟解決了哪些技術難題。不過這套方案必然需要在3D dToF的成本、功耗、距離精度、分辨率等參數上做出權衡，尤其是在成本不會很高的前提下確保性能，令其適用于移動消費電子設備，這是大方向的難點所在。Bing Xu博士也在講話中提到，“我相信隨著量的增加，工藝性能提高，以及ams本土化計劃推進，價格成本就會往下降?！?/p>

最后比較值得關注的話題，還是落腳在消費類的移動設備搭載此類3D感知方案，究竟能夠用來做什么。畢竟這才是像ams這樣的3D dToF方案能不能普及的驅動力。

事實上，3D ToF在手機和各種移動設備上始終沒有什么殺手級應用?，F有的一些3D ToF方案在手機上的應用可能包括成像增強，例如利用深度圖來做對焦輔助、背景虛化，或智能美顏等。此前有評論認為，3D感知實現的智能美顏可能會成為ToF市場需求的殺手級應用，但事實上也并未如預期。

對此，Sarah Cheng表示：“很多手機廠可能在一些平臺上搭載過ToF后又棄用。其中一個關鍵因素是，ToF本身帶來的成本壓力，以及它為用戶帶來的收益很有限。這是因為iToF技術上的限制，導致大家對ToF接受度有限?！鼻拔奶峒?，dToF相較iToF有諸多方面的優勢，“使手機后置的一些像AR這樣的應用更加多元化，促使手機廠商去采用這樣的技術?！币郧啊癲ToF門檻高，能選的方案上不多。”

“就我們現在的計劃來看，2021年底先以智能手機為目標平臺，第二波會慢慢延續到AR設備，比如AR眼鏡等產品上?！?Sarah Cheng說，“最新版iPad Pro和iPhone的出現，搭載的dToF技術的深度相機已經成為3D視覺在消費場景的應用推動了新的機會?！?/p>

“引用他們的一句標語，‘Pro級攝像頭打通了真實和虛擬的交界’，在我們看來，這是未來手機后置3D應用的大趨勢和核心，也就是更加沉浸式的AR用戶體驗，逐漸融入現有的各大游戲、社交、網上購物、室內裝潢、AR導游地圖等線上應用平臺和軟件。”

Bing Xu博士還補充說：“我們首先會推消費電子類，這個市場很大。從消費電子推到工業界，各種各樣的工業界，只要測距離、測體積，需要3D建模的我們都會去推。”

編輯：hfy