2月2日，MagicLeap官方表示獲得由阿里巴巴集團領投的約7.94億美元融資。加上上輪由谷歌領投的5.42億美元，至2014年年底以來，該公司總計已完成13.4億美元投資，總估值約45億美元。

　　這家位于佛羅里達的創業公司已經創業數十年，陣容豪華，規模龐大，但卻對其核心技術諱莫如深，異常神秘。間或泄露幾條演示視頻，舉世驚艷，旋即嘩然。那么，MagicLeap究竟有何驚世駭俗的技術秘密？在此大膽推測，力圖在其撲朔迷離的表象下，探究技術的實質。

一條巨大的鯨魚從籃球場的地面中央飛躍而出

把辦公室變成游戲戰場

　　在計算機圖形學領域，三維場景渲染演示技術的演化進程可以大致劃分成如下的歷史階段：針孔相機、雙目立體視覺、光場、數字全息。簡而言之，針孔相機演示技術的代表作是早期的動畫電影《最終幻想》，雙目立體視覺的代表作是3D版的《阿凡達》，光場的代表作就是MagicLeap，數字全息技術的代表作是《星球大戰》中的場景。

最終幻想：光線跟蹤法渲染，針孔相機顯示技術

3D版的《阿凡達》，雙目立體視覺

MagicLeap，增強現實，光場技術

星球大戰，數字全息技術

　　MagicLeap實現并普及了光場顯示技術，這是三維場景顯示技術的一場實實在在的革命，獲得空前的投資自然是名至實歸。那么，什么是光場？這一技術是完全嶄新的嗎？這一技術發展的歷史脈絡如何？存在其他以光場技術起家的公司嗎？我們在下面的討論中，逐一解釋。

　　針孔相機

　　傳統的光學相機，其理想模型就是針孔相機。在計算機圖形學中，傳統的渲染方法都是基于這種相機模型。如圖7所示，從相機的光心出發，經過成像屏幕的每一個像素，發出一條射線。光學跟蹤法用幾何光學的物理法則計算這條射線的顏色，即為相應像素的顏色。圖8展示了一個用光學跟蹤法算出的渲染圖像。在這里，我們需要一個概念上的轉換，每個像素不是一個點，而是一條射線，這是理解光場的關鍵！換言之，一張相片就是通過光心的一簇射線。《最終幻想》就是用光學跟蹤法來渲染制作的。

光線跟蹤法中的針孔相機模型

用光線跟蹤法渲染的一幅場景

　　傳統的顯示方法，例如屏幕、LCD/LED，是基于傳統觀念的，即把每個像素作為一個點，從不同的角度看過去，同一個像素的顏色不變。換言之，這種顯示方式失去了射線方向的信息。

　　雙目立體視覺

　　人類具有兩只眼睛，觀看物體時兩眼各自成像，大腦根據兩眼成像的細微差別計算每一點的深度信息，從而得到立體感覺。模仿人眼，我們可以用雙鏡頭相機得到雙目立體相片。

雙目立體相機

阿波羅登月計劃中拍攝的雙目立體相片

　　本質上而言，雙目立體視覺相片就是從兩個光心出發的兩簇射線。3D版《阿凡達》就是以此原理制作的。相對于單目相機，雙目立體視覺時間復雜度和空間復雜度加倍。

　　光場（Light Field）- 魔盒解釋

光場（Light Field）的魔盒解釋

　　我們假設用一個玻璃盒子罩住一只兔子，然后透過玻璃盒子來觀察這只兔子。從盒子表面的任意一點，向三維空間的任意一個方向發出一條射線，這條射線的顏色由兔子和光照條件所決定。我們用來表示玻璃盒子，表示單位向量，一條射線表示為,所有射線的集合記為。每條射線對應著一個顏色，我們用三維空間中的一個點來表示。因此，光場就是從射線空間到顏色空間的映射。換言之，光場是定義在射線空間上的矢量值函數。

　　假設我們去掉了玻璃盒子中的兔子，但是這個玻璃盒子是一個魔盒，光場信息被完美保留。當我們觀察這一魔盒的時候，所有經過一只眼睛的射線合成了視網膜上的一幅圖像。我們可以自由地改變距離和視角，兔子在視網膜上的圖像相應地自然變化，根本覺察不到兔子的消失。因此，有了魔盒，我們不再需要真正的兔子。這個魔盒就是兔子的光場。

　　在光學領域中，光場是一個古老的概念。在1996年被微軟和斯坦福學者引進到計算機圖形學領域，發展到2016年的今天，已經整整二十個年頭了。雖然在學術界，人們不懈地研究深化，真正在工業界產生影響，還是近幾年的事情。MagicLeap應該算是LightField理論在現實應用中的一個巔峰。

　　光場渲染我們可以用兔子的光場來取代兔子，渲染生成各種角度的照片，這樣我們無需為建立兔子的幾何模型，紋理模型和光照模型。對于大場景，復雜光照條件，或者復雜幾何模型（如長絨玩具）等等，光場比實物的數字模型更為簡單，或者光場比光線跟蹤得到的渲染結果更加逼真，或者更加高效，我們用光場來渲染。這是所謂的基于圖像的渲染方法。歷史上，微軟曾經出過一版基于光場的游戲，類似孤島尋寶，所有場景都是從真實自然中采集，非常逼真，但是最后沒有引起任何反響，無疾而終。

　　光場采集光場是定義在射線空間上的函數，射線空間是4維的，傳統的針孔相機只能采集二維射線簇，因此光場采集具有本質的難度。早期光場采集的方法簡單粗暴，就是用大規模相機陣列，如圖12所示的二維相機陣列。這種光場相機笨重昂貴，無法普及。

斯坦福的光場相機：16x8多相機陣列

　　依隨數字相機技術的成熟，針孔相機愈來愈小，可以密集地集成在一起，從而縮小了光場相機的體積。但是鏡頭的尺寸無法縮減，如圖13所示。

斯坦福的光場相機：相機陣列

　　真正的突破來自于仿生學。許多昆蟲都有復眼,復眼獲取的就是光場信息。

昆蟲的復眼：光場相機

　　人類模仿昆蟲，制造了類似復眼的鏡頭，如圖15所示，在一個大鏡頭上集成了數十個小鏡頭。依隨光學工藝的改進，人們制造出在一張塑料薄膜上集成了數千個微小鏡頭。斯坦福的博士生吳任基于這種想法，創立了光場相機Lytro公司。

Adobe制造的人造復眼原型

　　傳統的相機需要先對焦，再照相。Lytro相機提出的口號是“先照相，再對焦”。因為Lytro相機得到的光場信息，使用者可以由4維光場合成不同角度，深度的二維相片。

Lytro相機

　　如圖17所示的婚紗攝影：同一個光場相片，我們既可以聚焦于靠近鏡頭的新郎；也可以聚焦于遠離鏡頭的新娘。

Lytro婚紗照：同一張光場相片，可以聚焦在不同的區域。左幀，聚焦在新郎上；右幀，聚焦在新娘上

　　光場顯示傳統的顯示方式，屏幕，LCD/LED，只保留了射線穿過屏幕的交點的幾何信息和顏色信息，沒有保留射線的方向信息。屏幕是漫反射的，從屏幕上某一點發出的所有射線都是相同顏色的，而光場顯示要求從同一點出發的不同射線具有不同的顏色，如圖18所示。光場顯示，正是MagicLeap的核心技術。

顯示模式對比：左圖是傳統屏幕，過一點的所有射線同樣顏色；右圖是光場顯示，過一點的不同射線不同顏色

　　USC的光場顯示南加州大學提出并制作了一種光場顯示裝置，如圖19、20所示，有一個四面透光的玻璃柜子，柜子中間是一面和水平面夾角為45度的鏡子，柜子頂部安裝了一臺高速投影儀，投影儀垂直向下投影，光線經過鏡子反射后水平射出。同時，鏡子高速旋轉。一顆幽靈般的透明人頭懸浮在空氣之中，當我們繞著柜子走的時候，我們可以看到人頭的各個側面，并且這顆人頭對你擠眉弄眼。

USC Light field display，一顆漂浮的人頭

USC Light field display用于遠程會議系統

USC Light Field display 專利圖

　　圖21展示了這一光場顯示儀器的原理。45度傾斜的鏡子（114）被電機馬達（115）帶動旋轉，圖形處理器（130）生成圖像傳遞給高速投影儀（120），投影儀投射到鏡子上，經反射水平射向四周。這樣，經過嚴格同步控制，我們就顯示了一個三維的光場。這一裝置笨重而昂貴，同時高速旋轉的鏡子使得系統的穩定性下降。任何機械振動都會影響光場顯示效果。

　　MagicLeap光場顯示-手電筒解釋MagicLeap的核心技術是一種特殊的光場顯示設備：光導纖維投影儀。激光在光導纖維中傳播，在纖維的端口射出，輸出方向和纖維相切。改變纖維在三維空間中的形狀，特別是改變纖維端口處的切方向，我們可以控制激光射出的方向。這就猶如我們拿著一個手電筒，通過改變手電筒的位置，和指向改變輸出光柱的方向。如果我們快速搖動手腕，手電筒發出的光柱在空中劃出了一個圓錐面，這個圓錐面打到一面墻上成為一個圓周。通過快速改變手腕搖動的幅度，我們可以控制這個圓周半徑大小，從而得到一系列的同心圓，這一系列同心圓覆蓋了一張圓盤。如果，手電筒的光柱顏色會變化，則我們在墻上畫出了一個彩色圓盤。這樣，通過快速搖動一只手電筒，我們得到了一幅圖像，或者覆蓋了一簇射線。假設有很多人，站在不同的空間位置，每人都搖動一只手電筒，則我們得到了一個光場。這就是MagicLeap的光場顯示設備：光導纖維投影儀的原理。

Magic Leap的手電筒

　　圖22顯示了MagicLeap的手電筒，促動器(206）相當于人的手腕，光纖（208）相當于手電筒，促動器使得纖維頂端周期性地顫動，纖維頂端螺旋地畫出了一些列的同心圓，激光經由透鏡系統輸出，在空中畫出了一簇射線。投射到平面上照亮了一個圓盤。同步地改變經過顏色和強度，一根纖維利用分時技術得到一幅圖像，如圖23所示。

一根纖維利用分時技術得到一幅圖像

　　在MagicLeap的纖維光投影儀中，有許多根光導纖維，集結成二維陣列，每根纖維都相當于一個針孔相機，二維相機陣列生成了光場。

　　光場顯示的優勢相比于雙目立體視覺，光場顯示有很多優勢。人類獲取三維深度信息有兩種途徑，“shapefromstereo”和“shapefromfocus”。我們用兩只眼睛看同一個物體，同一個三維空間中的點，映到左右視網膜不同的像素上。我們人腦能夠通過視網膜上的像素，反算對應的空間的射線，從而得到兩條射線的交點，得到深度信息，這一過程是“shapefromStereo”。我們每只眼睛看物體的時候，大腦會自動調節眼睛的晶狀體的曲率，使得物體在視網膜上清晰成像。調節晶狀體的肌肉緊張程度使得大腦能夠計算物體的深度信息，即所謂的“shapefromfocus”?？?D版的《阿凡達》的時候，我們只用到了“shapefromStereo”，眼睛的焦距一直固定，因為眼睛到屏幕的距離不變，因此沒有“shapefromfocus”的過程。但是，人類經過漫長的進化，這兩種過程自然而然地緊密聯系在一起。人為地割裂它們，就會使人目眩頭暈。相反地，如果用光場顯示技術，我們同時需要“shapefromStereo”和“shapefromfocus”，因此觀看時不會頭暈目眩，光場顯示技術更加自然健康。

　　光場顯示的挑戰作為一場革命的開端，MagicLeap的技術面臨著許多挑戰。最為直接的就是：傳統的顯示技術只需要計算四維光場中的一個二維切片，而光場顯示需要計算整個四維光場，其計算復雜度提高幾個數量級，這是技術瓶頸之一。同時，精確的調控機械部件，使得每一個纖維都穩定自然地顫動，并且顫動的模式要和數據傳輸相互同步，并且這種顫動不受外界噪音的影響，這也需要令人匪夷所思的技術。

　　數字全息光場從概念的提出到MagicLeap的投資狂潮已經走了二十年，而數字全息技術的發展歷史更加漫長。光場本質上還是幾何光學，而數字全息則是波動光學。目前數字全息技術日益成熟，依隨藍色激光的發明，彩色數字全息技術成為可能。目前發展的瓶頸一是計算量巨大，遠遠超過光場計算，二是數字全息顯示中需要特殊的一種晶體，每個像素的折射率能夠由電壓控制。目前這種光學器件依然昂貴，并且尺寸較小。我們相信依隨光場技術的廣為接受，數字全息技術也會長足發展。

　　光場技術的啟示光場技術的歷史發展使我們看到顛覆性的技術革命往往起源于基礎科學和非商業功利的學術界。從學術界醞釀成熟，到商業界呼風喚雨往往要幾十年。MagicLeap的技術突破來自于對于內窺鏡技術的轉用，這顯示了跨界科研的重要性。

　　期待有一天，電視電影都是用光場攝像機拍攝，觀眾可以任意動態選擇觀看角度?；蛟S這一天要等待另一個二十年，或許只需三五年。我相信，不久的將來，淘寶網上的照片都會被光場相片所取代，而Magicleap頭盔，成為每一個網購者的標配。