無人駕駛傳感，通常意義上認為是“三雷達一相機”：激光雷達、毫米波雷達、超聲波雷達和相機。實際上，行業里認為可能以后還會使用紅外，只要是對傳感感知有利的傳感器，無人駕駛的研究上是不介于使用的。

下面逐個介紹傳感類型和傳感信息處理方法。之所以叫方法，而不叫算法，是因為只是從宏觀上說明數據是如何處理的。

相機

相機分為單目、雙目、多目、環視。

攝像頭是應用范圍最大也是最不可替代的傳感方案，無論是哪個廠的方案，特斯拉也好，奔馳寶馬也好，都離不開攝像頭。這是因為，攝像頭具有一個獨一無二的能力。以現有工業技術來看，在所有傳感器當中，只有攝像頭具備識別能力，而且這個識別能力還會根據算法實現迭代優化。對于自動駕駛的具體場景來說，識別能力非常關鍵。

目前智能車上有使用單目攝像頭（用于目標和障礙物識別）+雷達（測距，有的還用于目標識別），或者使用雙目攝像頭（雙目攝像頭比單目攝像頭能更好地解決測距問題）。

在自動駕駛場景中，偏高速的場景往往會用毫米波雷達來解決測距問題，而在低速場景使用雙目來測距則仍會受到陰雨、光線等外界條件的影響。所以有識別能力且不以判斷距離為核心的單目攝像頭是必不可少的視覺傳感。

圖像處理方法

圖像處理的辦法有兩類：

1、傳統的模式識別

簡單來說就是對識別到的物體進行特征提取，然后將提取到的特征與現有模板進行比對，然后完成分類、識別的任務。使用這一類技術的最有代表性的公司就是以色列的 Mobileye。但模式識別存在一個問題，就是所有的判斷都是基于已經了解的知識。

換句話說，是通過枚舉的方式來認識這個世界。如果遇到了此前沒有見過的物體，那么系統就無法完成識別判斷。這在 ADAS、有人類輔助的低級自動駕駛場景中可行，但在更高級別的自動駕駛場景，例如車里的人做別的事讓車自己行駛，那么這種方法就可能出現問題。

Mobileye 在這個技術路徑上積累了多年經驗，已收集和迭代了全球各種駕駛場景的數據。國內也有走與 Mobielye 相同路線的公司，但想在算法和數據上超越 Mobileye 基本上是非常困難的，需要很長的時間和大量資源的投入。

2、深度學習

從自動駕駛場景的基本屬性來看，交通場景屬于非結構化的場景。什么是非結構化？

簡單來說，結構化的數據是可以通過一、兩個物理量表征出來的，但非結構化數據和場景卻很難用一、兩個量表征出來。例如，一個復雜的十字路口就沒有辦法單純滴用幾個人、幾盞燈、幾個小孩這樣的量來表征。

而隨著這一輪人工智能的興起，深度學習在自動駕駛場場景中就起到了非常關鍵的作用，可以通過一系列數據訓練模型來解決問題，而且隨著數據量的增加，模型的識別和判斷能力會逐漸提升。如此看來，投資走模式識別技術路線的公司在短期內機會相對較小。

從技術角度出發，深度學習能力的判斷無非就是考量模型和數據。

首先看的是數據，想看看有沒有一些特殊的方式能夠讓一家公司能夠擁有先于業內其他企業數據獲取能力，擁有更低成本、更高效率的數據獲取方式，這是我們當時考量的一個基礎。

其實，我們在理解數據上也走很長的一段路。最開始，我們以為在出租車上掛一個行車記錄儀出去跑一跑、拍一拍就 OK 了，但這跟實際需要的數據相差甚遠。

為什么呢？因為實際需要的數據需要多元化的數據?？赡茉诟咚俟妨伺牧藥兹f公里但是由于車輛少、場景單一，大多數數據都沒什么用。

后來我們了解到，實際需要的數據叫做全駕乘狀態的車輛數據。除了攝像頭自身標定出來的有人和物的數據，還要伴隨著場景中的汽車狀態數據，例如 CAN 總線數據、GPS 數據等。

相比之下，簡單依靠出租車搭載行車記錄儀得到的數據并不完備，這種全駕乘狀態的車輛數據才是核心，而且必須與專業機構、車廠合作才能獲取。

另外一點就是模型。在考量算法模型時，我們其實有很大的顧慮。現在有很多成熟的開源框架，例如 TensorFlow、Caffe 等等。這些開源算法框架的存在似乎是把門檻降低了。但是理解之后，我們發現，同樣是 TensorFlow，不同企業、不同廠家拿過來使用以后，產生的效果是不一樣的。原因在于，模型優化這件事情有三個層面。

第一個層面是簡單的參數調整。例如對某一個網絡層的某一個參數進行調參，并不知道調出來的效果是什么樣的，只能一次一次的試，有點像算命。

第二個層面是可以改開源算法框架的源代碼，進而優化里面的細節公式。這個層面可能需要對 TensorFlow 體系有比較深入的理解，同時對工程化有比較深入的認知，往往具備產業背景。

第三個層面不但可以調整技術源代碼，還可以根據自己的數學理解和開發能力，用不同的數據方法優化底層的數據公式。這個層面除了對產業和工程存在要求，最好還要具備比較深的數學功底。這些經歷可以幫助研發人員在模型嘗試的過程中少走很多彎路。

激光雷達

激光雷達種類

第一個是機械旋轉式激光雷達。這類激光雷達有機械旋轉機構，相對笨重，如果要將旋轉機構做到可靠性高，滿足車規級要求，成本會很高。我們認為，這類激光雷達的機會是窗口性的，未來其他技術成熟了，這類激光雷達可能會退出市場。這也是所謂的非固態激光雷達，人們通常把下面這三種成為固態激光雷達。

第二類是 MEMS 激光雷達。這類激光雷達是把所有的機械結構做到半導體工藝上，集成到單個芯片。目前，國外有以色列公司 Innoluce 正在嘗試這一技術路徑，國內也有走類似路線公司，但國內在其核心原件 MEMS 振鏡一直量產能力不強。而且這個方案在成本上不太可靠。

第三類是光學相控陣激光雷達。這類激光雷達對工藝要求極其苛刻，因此量產也是一個問題。

第四類是面陣激光雷達。之前面陣激光雷達較多應用于航天軍工領域，精度較高，但是造價昂貴。