自從蘋果(Apple)去年推出iPhone X以來，業界觀察家對于其3D傳感(3D sensing)技術的看法兩極。3D傳感技術在智能手機用戶中很流行嗎？它會是未來每一支智能手機的必備功能嗎？

答案是還沒有。當今智能手機業者的共識是——現在仍然是3D成像“時代”的早期階段。

Apple TrueDepth相機系統（來源：Apple）

業界對于智能手機搭載3D傳感技術的看法紛歧——從“為什么要這么麻煩？”到“這就是未來”等各種解讀都有。反對3D傳感的論點就來自于那些深信“屏幕內(in-display)指紋傳感器就夠了”和“數位攝影勝過3D傳感”的智能手機相機“鐵粉”。

雖然有些人認為iPhone X競爭對手就是因為缺少了成熟的3D傳感技術而導致市場興趣缺缺，但其他人并不同意這樣的看法。Yole Developpement成像技術與市場首席分析師Pierre Cambou解釋，這是因為“Apple在這方面的的發展更超前”。

此外，由于垂直共振腔面射型雷射(VCSEL)等關鍵3D傳感組件供應受限，導致搭載結構光3D傳感技術的智能手機短缺——超過8個月以上。幾位業界人士指出，這些關鍵3D傳感組件早就已經被Apple等公司鎖定了。

中國業者崛起

同時，中國當然也看準了3D傳感市場。

過去幾個月來，當小米(Xioami)、Oppo和Vivo等中國智能手機OEM陸續發布其3D傳感計劃時，3D傳感應用取得了積極進展。今年5月，小米宣布推出Mi 8 Explore Edition新機，被譽為”全球首款支持3D人臉識別的Android智能手機”。

而在6月，Oppo推出配備6.42英吋AMOLED顯示器的Find X智能手機，支持3D傳感功能，價格高達750美元，同時也被視為Mi 8的直接競爭對手。

同樣在6月，Vivo表示其Face ID認證系統將采用新的3D傳感技術。相較于使用結構光技術實現3D傳感的Apple iPhone X，Vivo將會部署的是3D飛行時間(ToF)傳感技術。

小米Mi 8 Explorer智能手機搭載Face ID（來源：小米）

業界一直密切關注這些中國OEM的3D傳感技術合作伙伴。小米與以色列的迅聯光電(Mantis Vision)合作，打造基于結構光的3D技術。OPPO則與中國深圳奧比中光科技(Orbbec 3D Technology International Inc.)合作，同樣使用結構光。據報導，Vivo使用的ToF技術來自與德國錫根(Siegen)的PMD Technologies AG合作。然而，Cambou補充說，Oppo還可能會改與Sony合作。

加碼投入3D技術進展

Yole Developpment最近發表了一份名為“3D成像與傳感技術，2018年版”(3D Imaging & Sensing, 2018 edition)的報告，詳細介紹各種系統所使用的技術、3D傳感生態系統中的關鍵參與者，以及3D技術的市場規模和預測。

Cambou是這份報告的共同作者之一，針對3D傳感進行了深入分析。他告訴《EE Times》的記者，“Yole深信3D傳感技術將快速發展?！?/p>

他指出，3D傳感模塊十分復雜，加上Apple為其TruDepth相機選擇的結構光技術成本高，這一部份解釋了為什么Android手機必須要花將近八個月甚至更長的時間才能趕上Apple。

雖然Apple的TrueDepth在2017年之前就確立了3D前置相機的趨勢，但Yole坦言，（3D傳感應用）的浪潮在量方面轉趨保守。

每一支新iPhone都有3D——包括正面和背面？

據坊間媒體猜測，今年秋季計劃發布的Apple新款iPhone都將配備3D前置攝影機。

在iPhone X中，Apple僅將3D傳感技術用于前置攝影機?，F在更大的問題是3D是否也能翻轉以及支持后向攝影機。

盡管Cambou確信前置3D的發展，但對于后置攝影機采用3D仍抱持懷疑態度。他指出，擴增實境(VR)和虛擬現實(AR)一直欠缺市場動能，AR的銷售推廣和游戲都尚未在市場起飛。因此，他質疑后置攝影機要搭載3D可能仍是“未來的一個利基市場“。

但Apple的3D傳感供貨商們似乎不這么認為。Cambou承認，他們看好3D傳感作為“通用接口“的前景。從意法半導體(STMicroelectronics；ST)最近召開的季度財報電話會議看來，據Cambou的觀察，”他們似乎過度看好3D傳感將進入智能手機前、后相機市場“。

那么有多少智能手機相機將會配備3D傳感技術？滲透率如何？Yole預測，2017年約有1.4%的滲透率，并將在2023年成長至55%。至于營收呢？

Yole預測這一市場正強勁成長。2017年3D傳感市場規模估計約有20億美元，包括用于消費、汽車、醫療、商業、科學、國防和航天等領域，并將在2023年達到180億美元。據Cambou指出，這一營收數字的貢獻來自于較“先前預測更高的平均銷售價格(ASP)，以及消費裝置的3D采用率成長“。

事實上，在部署3D的所有細分市場中，Yole預測3D傳感技術市場將以82%的復合年成長率(CAGR)成長，自2017年的3.75億美元成長至2023年約為138億美元。相形之下，他預測汽車市場的CAGR為35%，自2017年的3.91億美元成長至2023年約為24億美元。

3D的發展脈絡

很顯然地，3D傳感讓Apple得以用Face ID取代指紋傳感器。正如Yole所說的，iPhone X的3D傳感應用實現了“輕松解鎖“、”透過人臉識別實現安全性“、”游戲“(如Avatar)以及”漸變“(morphing)等功能，包括在Facebook、Snapchat和Instagram等社群媒體的實時濾鏡(AR、臉部漸變與合成等)等。

但如果你只是在智能手機的發展背景下思考3D，很可能會錯過3D為市場帶來的更大機會。

Cambou：“想想亞馬遜(Amazon)的Echo如何透過連接語音與人工智能(AI)，并將語音提升為主要用戶接口(UI)，從而改變了人機接口(HMI)“。同樣地，3D傳感技術使得生物特征識別”萬無一失“，如人臉識別等。因此，他強調，3D也開啟了通往AI的大門。

事實上，智能手機讓3D傳感更加普及。但3D傳感并不僅僅是智能手機的專屬功能。Cambou說，它還具有深遠的社會和政治影響力。

他在最近發表的“人臉識別技術：亟需公共監管與企業責任“(Facial recognition technology: The need for public regulation andcorporate responsibility)部落格文章中提到：”鑒于人臉識別技術的廣泛社會影響力以及被濫用的可能性，政府實施周全的監管似乎特別重要，否則可能導致公共機構以帶有缺陷或偏見的技術方法來決定要追蹤或調查誰，甚至逮捕罪犯等?！?/p>

因此，3D傳感的影響力更甚于在這里討論誰家的智能手機搭載3D或使用哪一家的3D技術等。

3D技術生態系統

然而，從工程的角度來看，最耐人尋味之處在于揭密移動設備中搭載的各種深度傳感技術途徑。在即將來臨的3D傳感時代，全球生態系統中的每一家參與業者都在爭搶設計訂單。

簡而言之，結構光和ToF技術是目前可用于深度傳感的兩種不同方法。結構光透過將已知圖案投影到對象上再進行3D掃描。當光線照射到物體上，圖案會變形。這時再透過結構光分析已知圖案的變形情況，以推斷深度。

ToF則透過調變光源照射場景，并觀察反射光源。測量照明和反射之間的相移后，再將其轉換為距離。

雖然Apple為其前置深度相機選擇了結構光途徑，作為3D成像時代的起點，但Yole深信3D前端模塊“未來可能會朝向ToF技術發展”。Cambou認為，ToF途徑“在陽光直射下更可靠，而且運算需求更低“。

移動設備中的深度傳感技術（來源：Yole Developpement）

Yole描述了三種不同的3D成像和傳感技術——包括立體視覺、結構光到ToF。其中，ToF在技術上最不成熟。但可提供ToF解決方案的主要業者包括PMD、Sony、ST和英飛凌科技(Infineon Technologies)。結構光技術則有Mantis、Vision、ams和ST、英特爾(Intel)、奇景光電(Himax)以及韓國的Namuga。ST同時投入兩大技術陣營。

Yole預期，短期內，Apple并不至于從結構光轉向ToF。Cambou認為，Apple至少要再過二到四年才可能推出新的硬件。同時，他補充說，ST是iPhone X基于結構光的3D技術供貨商，“但它同時也推出了基于ToF的3D技術?！?/p>

數字攝影與3D傳感

Apple如今面臨的一個窘境是對于3D傳感博下重注，最后是否可能會因為犧牲傳統數字攝影質量反而傷害了Apple自己？

Cambou以華為(Huawei)為例指出，該公司現正斥重資于數字攝影。以主動矩陣(用于傳統攝影)的尺寸來比較，他計算出Apple僅用了52 mm2，而三星(Samsung)則有91 mm2，華為的是112 mm2。

誰在打造3D深度傳感技術？

在Yole的協助下，《EE Times》列出了3D傳感生態系統的關鍵業者，尤其是在3D軟件/運算和3D系統設計領域。

3D軟件與運算

Faceshift (Apple旗下子公司)

Apple在2015年底悄悄地收購了Faceshift——這是一家從瑞士洛桑聯邦理工學院(EPFL)獨立出來的新創公司。這家瑞士新創公司開發了一種能實時捕捉角色的人臉識別而打造動畫化身的技術。

Apple iPhone X提供Animoji動畫表情（來源：Apple）

聽起來很耳熟吧？沒錯！就是有了Faceshift的臉部追蹤技術，才成就了iPhone X Animoji動畫表情的基礎。

Movidius (英特爾旗下子公司)

英特爾子公司Movidius在今年初推出Myriad X視覺處理單元(VPU)，被稱為“業界首款帶有專用神經運算引擎的SoC，可用于邊緣為深度學習推理進行硬件加速?！?/p>

Movidius在被收購之前，即展開3D傳感的技術開發。其芯片最初用于作為3D渲染的引擎。Movidius曾與Google合作開發Tango (Google先進技術與項目。

Project Tango（Google）

Google Project Tango的目標是使用計算機視覺，讓移動設備能夠在沒有GPS或其他外部信號的情況下，檢測其相對于周圍環境的3D位置。Movidius為Project Tango提供了一種用于計算機視覺定位與動作追蹤的芯片。

Movidius的超低功耗視覺芯片最先出現在這一市場上，并成為3D傳感在移動設備上的先驅。大多數的視覺處理平臺出現在2010年初，例如微軟(Microsoft)一開始的Kinect中搭載的PrimeSense芯片(比Movidius的視覺處理器功耗更高)。值得注意的是，PrimeSense于2013年底被Apple以3.6億美元收購。

Project Tango (來源：Google)

Softkinetic (現為Sony Depthsensing Solution)

2015年10月，Sony收購位于比利時的3D傳感計算機視覺技術制造商SoftKinetics。SoftKinetic的技術包括微軟的Kinect深度相機、CMOS深度芯片和手勢追蹤中介固件。

從各種跡象來看，這家日本巨擘目前正積極地成為3D CMOS ToF傳感器和相機的關鍵廠商，Sony并于去年底將SoftKinetics改名為Sony Depthsensing Solution。

Sony最新的娛樂機器人'aibo'就采用了DepthSense技術和手勢識別軟件（來源：Sony）

據Sony表示，SoftKinetic開發CMOS 3D傳感器、3D相機參考設計、SDK、算法以及用于手勢識別、對象掃描、汽車控制和AR/VR等應用，始終如一地提供3D傳感和處理方面的先進解決方案。

由布魯塞爾團隊開發的DepthSense相機模塊和軟件已經被設計用于Sony最新的娛樂機器人——aibo。

Inuitive

以色列無晶圓廠芯片公司Intuitive Ltd.專注于3D成像的發展。去年秋天，該公司推出了一款多核心視覺處理器NU4000，支持3D成像、深度學習和計算機視覺處理，適用于AR/VR、無人機、機器人和許多其他應用。

視頻鏈接：https://youtu.be/lsz4kJo-yz8

該公司聲稱，其新款處理器將實現“高質量的深度傳感、芯片上SLAM、計算機視覺和深度學習(CNN)等——這些功能都整合于精巧的外形和最低功耗中。”

3D系統設計

LIPS

***立普思(LIPS)成立于2013年，是3D深度相機和3D完整解決方案的供貨商，擁有專利的相機設計和軟件算法。

LIPSedge M3是一款專為嵌入式系統設計的多功能ToF深度相機，可產生實時3D數據（來源：LIPS）

LIPS設計、建構和客制3D深度相機，同時還創建了識別中介固件和解決方案，以滿足OEM的各種應用，包括機器人真空吸塵器、AR/VR、家用機器人、ADAS和工廠自動化等。

Mantis Vision

以色列Mantis Vision將自家定位為3D視覺的重要推手，并為其技術繪制了3D視覺的美好未來——讓消費者可在智能手機上拍攝3D照片或使用平板電腦掃描對象，然后將其發送到3D打印機。該公司擁有所謂的“專用編碼結構光技術”。

Mantis Vision的模式采用獨特的程序代碼，能在更小面積上識別較標準方法更多的點。該公司聲稱，這種獨特的技術提供了更高的分辨率和準確度，以降低最小的對象尺寸（來源：Mantis Vision）

Mantis Vision不久前還宣布與小米合作，該公司首席執行官Gur Arie Bittan指出，該公司的團隊克服了許多挑戰，透過使用其內部IP，才使迅聯開發出市場上最具成本效益的3D結構光攝像頭模塊。

他指出，該公司還能夠將光學堆棧和尺寸從厘米(cm)縮小到毫米(mm)，并采用當時仍處于新興技術的VCSEL雷射，滿足OEM廠商的功耗要求，并符合眼睛安全規定。他表示，Mantis Vision還能打造了一個與RGB現有相機同步的攝影機支架模塊、定義并準備量產校準，以及開發一個可在Arm Core上執行的有效譯碼模式算法和管線。

Orbbec

深圳奧比中光科技是黃源浩在2013年成立的公司。他畢業于中國北京大學，并在美國麻省理工學院(MIT)的SMART Center取得博士學位。他以雷射散斑干涉、數字散斑相關、射彈結構光和計算機視覺等方面的研究而聞名。自2001年以來，他一直在研究和開發3D掃描技術。

據奧比中光表示，“過去三年來一直在努力實現3D——完善該公司的Astra 3D相機系列，并設計內建完備計算機功能的Orbbec Persee 3D相機。

Astra Mini有兩個版本。短程版Astra Mini S相機支持0.35～1公尺的追蹤范圍，Astra Mini遠程相機的范圍約為0.6～5公尺（來源：Orbbec）

Orbbec聲稱其Astra 3D相機“比當今市場上的其他相機更好”，提供“最高深度分辨率、更卓越的范圍、卓越的準確性和最低延遲”。

Orbbec據稱是Oppo的合作伙伴——使用其基于結構光的3D傳感技術。

PMD

德國PMD Technologies AG成立于2002年，致力于開發CMOS半導體3D ToF組件，同時為數字3D成像領域提供工程支持。

值得一提的是，該公司引以為榮的先進ToF技術——整合于芯片上，PMD稱其“十分精巧、可擴展且功能強大”。

德國徠卡(Leica)為PMD設計了專用的光學鏡頭，用于其移動設備的3D深度傳感成像器和相機模塊。（來源：PMD）

PMD并為OEM的相機開發提供參考設計，包括標準和客制版。PMD聲稱擁有多年的ToF相機設計經驗，可協助系統設計人員加速其硬件開發過程，而該公司的可擴展技術“將符合各種不同的特定相機模塊要求”。

英飛凌一直是PMD的長期合作伙伴。雙方共同開發了用于3D人臉識別的ToF影像傳感器。英飛凌的Real3 (或IRS238xC)尺寸還不到12mm x 8mm，包括接收光學系統和VCSEL照明，能將相機模塊整合于智能手機中。

PMD據傳與中國智能手機供應商Vivo合作伙伴，為其提供配備基于ToF的3D技術。