文章的上篇，主要是簡單回顧了光場相機的起源歷史、 極大地推動了它發展的Lytro公司的發展軌跡， 并簡要分析了這個相機在To C端市場表現疲軟的三大技術性原因。

也正如前文指出的那樣，光場相機因為它獨特的成像特性，在某些To B端領域得到了落地應用，成為在某些特定場景中具有性能優勢的一個技術解決方案。這里的“強”和前面的“弱”，實則為光場相機同一技術特性的陰陽兩極。作為“陣列”型傳感器中的一種，它在空間分辨率和角度分辨率中的折衷主義設計，決定了它性能“兩頭不靠”， 卻又“多面能手”。

光場相機的定義雖然范疇很小，但是“芥子納須彌”。這個概念上十分簡潔的設備，即一塊主透鏡、一個微透鏡陣列和一個感光芯片就構成了的光場相機，與很多其他技術相結合，誕生了諸多設備變種，被應用在不同場景需求中。可以認為它很簡單，簡單到從事計算機視覺的研究工作者，可以不用過多地去理會成像過程中的光學內涵和物理過程，僅憑借著傍軸近似條件下的幾何光學，就可以開展應用性研究；但是也可以認為它很復雜，從幾何光學到波動光學，從相干照明到部分相干照明， 即使是光學專業科班出身的科研工作者，對它的成像過程和性質，也難以建立一個完備的數學描述。

對于作者而言，這個文章的標題從一開始，就是超綱和過于龐大的。但是為了盡量給讀者一個清晰的面貌，特別是非專業領域的讀者一個簡明的介紹， 我將斗膽暢言，繼續拋磚引玉，闡述下光場相機在某些特定領域的優勢所在，以及這幾年涌現出的基于光場相機的新型應用技術。

02

優勢篇

光場相機的優點，一言以蔽之，它快速、它靈活、它多變。光場相機最多的應用場景，目前主要集中在3D成像領域，特別是深度估計、3D光強場的逆向重構兩大方面。3D成像領域，有很多其他技術方案，多目視覺、激光點陣掃描、TOF飛行時間法、全息術、相位恢復、結構光……光場相機與這些方案對比，成像速度和信息解算速度快，同時保留了被探測物體的灰度值信息（波長、強度）， 同時也記載了多視角信息（空間頻率）。光場相機由于靈活的特點，也可以和這些方案中的一些技術進行組合， 衍生“混血兒”。它的獨特之處，在于以下幾個方面：

1.密集的多視角

由于光場相機中，視角數目，等于單個微透鏡下的像素數目，而這一數字，目前達到了三位數的數量級，因此相較于傳統多目相機陣列（拋開圖1中斯坦福的極端燒錢案例，一般的多目系統相機都是個位數），光場相機在視角的密集程度（即視角分辨率）上，具有明顯的優勢。

圖1相機陣列和光場相機的結構對比(by Kurt Akeley，Light-Field Imaging Approaches Commercial Viability, 2015)

密集的視角，既為重聚焦、基于EPI的深度估計提供了技術上的可行性，成為這些后續技術的一個前期鋪墊環節， 而且它本身，就有著獨特的應用價值。

比如，在手機玻璃蓋板的工業檢測上，為了檢測手機屏幕上的質量瑕疵，一種傳統的解決方法，就是工人利用肉眼、一天八小時對著強光并反復從各個角度檢查瑕疵。這種To C產品的檢測需要盡可能地降低漏檢率，提高成品率，參見毀掉三星手機諾大聲名的其實只是百萬塊手機電池中的一塊。瑕疵由于對光線的反射或者折射特性變得十分隱蔽，只有在特定視角下，才可以顯現。如果利用傳統二維相機進行掃描，視角移動設備復雜，也不具備時效性；利用人工肉眼檢測，對工人的健康不人道。豐富的視角屬性，為光場相機探測這些瑕疵賦予了快捷、準確的屬性。

2.結構的緊湊性

對比圖1中，兩種光場技術的系統尺寸大小，光場相機的結構緊湊性，不言而明。光場相機結構的緊湊性，帶來兩點收益：光場相機適合在空間光學觀察窗口受限條件下對目標進行觀測；光場相機容易與其他附加光路結合，構成另外一種應用方式。

圖3：光場相機應用于燃氣輪機的內涵道激光粒子圖像測速（小梅本人畫的）

光學窗口受限的典型情況，就比如旋轉機械中流場的觀測，為了盡量降低光學窗口對機匣中氣體流動的影響，以及降低結構強度，光學窗口一般數目都很少，大小有限。

后者的一個典型案例，就是光場相機在生物顯微方向的應用，通過附加光路，不用太復雜的設備，即可完成成像系統的改造。

3.快速的寬視場體成像

這一特點，在光場相機的顯微成像中被反復提起。由于光場相機僅需要單次拍攝，就可以記錄光場信息，因此方便快速地完成對被觀測物體的3D圖像采集。在生物顯微領域，光場相機的應用極大地降低了標本的活性時間要求。其他很多傳統的3D成像技術，要求活體標本保持位置和姿態固定（想象下病人去掃描CT核磁共振的時候，一動不動，那帶殼的長壽動物猶不能及），而光場相機速度快的優勢，使得它甚至可以被用來檢測運動狀態下的被檢測活體[1]，比如游動的細菌、運動中的老鼠，這種場景在傳統醫學成像領域基本上是不可能出現的。

圖4：基于光場相機的三維成像顯微鏡 （Prevedel, Simultaneous whole-animal 3D imaging of neuronal activity using light-field microscopy. 2014.）

4.“一魚多吃”，光場信息的多種解讀

光場相機由于是記錄了光線的方向和坐標等四維信息，因此基于對光場的不同解讀方式，可以形成對光場圖像的不同利用方法。典型的解讀方法有：

a.重聚焦，形成了一系列focal stack圖片。這種解讀，可以了解為被觀測物體，在一個定焦透鏡不同軸向位置處的圖像變化。focal stack目前主要的應用，是被利用在深度估計上，也可以應用它進行對被觀測物體的相位恢復。利用不同軸向位置處的圖像銳度，可以判定被觀測物的空間位置。和其他利用focal stack的技術相比，比如機械式的移動被觀測物， 或者最新大火的液體快速變焦透鏡（華為P50預告），光場相機獲得focal stack是通過一次拍攝，后續處理得到的，更具備時效性，所拍即所得 （當然空間分辨率上，其他focal stack技術更好，時間換空間）。

圖5：光場相機利用重聚焦形成的focal stack (Takahashi, From focal stack to tensor light-field display. 2018.)

b. 多視角圖像，形成了密集分布的不同視角下的圖片。在此情形下，光場相機即可以退化為傳統的多目視覺，因此主要用途依舊是深度估計，用來觀測物體的形貌。但是由于光場相機的視角密度很高，因此一個更合理的利用方式，是利用多視角圖像的EPI(epipolar plane image), 探測特定目標區域的EPI的斜率變化，從而得到深度信息。

圖6：光場相機多視角圖像形成的EPI信息（Teixeira, Epipolar based light field key-location detector. 2017

c. 點擴散函數的利用。光場相機的點擴散函數PSF，會隨著點光源在軸向的位置而發生改變。在空間域看，隨著點光源離焦程度的加深，更多的微透鏡被照亮，點光源仿佛散作滿天星。在頻率域看，不同空間頻率分量上的頻譜分布發生了改變。這種PSF隨著空間位置發生變化的屬性，與點擴散函數工程領域的方法，有著異曲同工之妙。在點擴散函數工程領域，PSF被人為調制，使得物點在不同空間位置上的像圖案呈現不同規律，比如渦旋光束導致圖案會根據沿光軸位置，旋轉不同角度[2]。光場相機的PSF也呈現出不同特征、但思路相仿的特點，通過探測、校準PSF, 利用反卷積技術，可以利用圖像重構物方三維空間中的光強分布。這一方法，在光場的顯微三維成像領域中，受到了廣泛的應用。

圖7：光場顯微中的PSF和反卷積應用（Broxton, Wave optics theory and 3-D deconvolution for the light field microscope. 2013）

d. 波前傳感與相位探測。光場相機的前身，有另外一個名字，哈特曼-夏克傳感器，這一儀器，主要被用于探測光波的波前和相位分布。這一傳感器的工作原理的簡要介紹，可以參見如下的中文鏈接。但凡波前探測的領域，都可以見到這一相機的應用場景，比如自適應光學中，探測大氣湍流造成的波前畸變，消除像差從而提高天文觀測的成像質量，光學儀器的瑕疵檢測，激光光束的波前探測.于軍于民，基于光場相機的波前探測也是一個小的研究熱點。

圖8：光場相機被應用于波前探測（Chen, Ni, et al. 3D imaging based on depth measurement technologies. Sensors 18.11 (2018): 3711.）

上面，可以看到利用了上述優點，拓展光場相機應用領域的案例。在外觀檢測、被加工零件的形貌誤差等方面，光場相機都有著獨特的優勢。

盡管光場相機的空間分辨率較低，但是這一問題，有望隨著感光芯片的技術進步而解決。機器閱讀并去理解圖像，對空間分辨率的需求不一定需要很高，達到人審美需求的那種程度。

總的來說，光場相機具備結構簡單的屬性，使得它可以快速成像、并對光場數據進行快速解算。同時，由于對光場信息的存在不同解讀方法，光場相機可以拓展到很多不同應用領域， 形成一個復雜和龐大的成像應用系列技術，這也就是為什么盡管光場相機已經在To C端偃旗息鼓，但仍然有新的火花，在知識森林中被點燃。

你以為這是故事的全部？No, No, No! 下篇將繼續介紹，大家如何腦洞大開，利用光場相機，繼續去干一些神奇而又好玩的事情。盡管有些方向，仍然停留在學界層面，但是對想要創業“恰飯”的朋友們，這不是件好事？

審核編輯 ：李倩