ADAS及自動駕駛的視覺感知競爭正在進入縱深階段，這其中，高像素攝像頭已經成為趨勢，而關乎圖像處理質量的ISP已經成為競爭高地。

ISP的存在感越來越強，不只是在手機上，汽車市場的需求也已經明確釋放。

ICV Tank數據顯示，2021年全球單車平均配置攝像頭數量為2.3顆，相比2020年的1.3顆大幅提高；預計到2026年，全球單車平均配置攝像頭數量將達3.8顆。全球汽車前裝攝像頭總量將從2021年的1.65億顆增長至2026年的3.7億顆，年復合增長率達16%。

早期的車載攝像頭常用于行車記錄、倒車影像、泊車環視等。隨著車載攝像頭在汽車領域的廣泛應用，如今逐步延伸到智能座艙內行為識別、ADAS輔助駕駛等。受益于車載攝像頭的快速增長，或者說，受益于汽車智能視覺的旺盛需求，ISP處理器在汽車應用中有望持續增長。

迎接車載圖像處理挑戰

ISP(Image Signal Processor)，即圖像信號處理器，作為車載攝像頭的重要組成部分，主要作用是對前端圖像傳感器CMOS輸出的信號進行運算處理。借助ISP，車載攝像頭才能看清楚細節和周圍環境，從而指導車輛做出下一步決策。也就是說，ISP 所要做到的就是：將“數字眼睛”的視力提高到“人類眼睛”的水平，使數字圖像的成像效果盡可能接近人眼看到的實景。

不過，現實環境中的圖像處理充滿了挑戰，典型挑戰主要存在于以下五大場景中：首先是夜間，低照度環境下視頻會有大量的噪點，顏色紋理出現失真；其次是強烈明暗反差情況下，比如逆光拍攝，容易導致細節缺失；第三是環境快速變化過程中，比如駛出隧道口的時候，曝光要不斷調整，容易出現盲區甚至安全隱患；第四是快速移動造成的視頻抖動；第五是惡劣天氣（比如雨、雪、霧）情況下的識別困難和可視距縮短的情況。

以上都是行車中常有的場景，但是給圖像處理帶來很大挑戰。

哪些途徑可以解決這些問題？加大圖像傳感器的感面，或是加大鏡頭的充光量，固然可以從一定程度上進行補償，但這也意味著成本的大幅增加。而ISP硬件和AI算法相結合的方案，可以通過算法進行優化，在確保成本的同時提升圖像處理的質量。

獨立還是集成？

ISP三大派系的角力

從車載ISP方案當前的設計來看，主要存在三種路線：獨立ISP、ISP集成于視覺處理器SoC、ISP與車規級CMOS圖像傳感器集成。

獨立ISP以富瀚微為代表，該公司方面稱，高分辨率攝像頭是趨勢，獨立ISP的優勢在于圖像效果是第一位的，同時可以配接不同的傳感器，方案靈活，能夠滿足用戶的差異化需求。

第二種方案是ISP被集成到視覺處理器SoC中，以英偉達Orin為例，內置ISP每秒可處理64億像素；而特斯拉第一代FSD芯片，ISP每秒僅能處理10億像素。

國內市場還有瑞芯微的車載AI視覺產品的RV1126/RV1109，內置安防級ISP和新一代NPU，其安防級ISP內置3F-HDR、3DNR、畸變校正(9ms@1080p)和去霧，圖像的優化處理及傳輸小于30ms，在強光、逆光、弱光、黑光場景下圖像細膩清晰。

阿里達摩院也宣布了自研的ISP處理器。據其路測結果顯示，使用達摩院ISP處理器，車載攝像頭在夜間場景下，圖像物體檢測識別能力比業內主流處理器有10%以上的大幅度提升，原本模糊不清的標注物也得以清晰識別。

ISP集成到SoC中，意味著可以同時處理多個攝像頭數據，實現成本下降。并且，SoC集成ISP性能的不斷增強，尤其是支持多個攝像頭（高像素）輸入，就意味著無需再為每個攝像頭傳感器提供ISP，從而大幅降低感知硬件的成本。同時，單一ISP可以用于管理不同的傳感器和幀速率，適用于功能的不同場景。

第三種方案是ISP與車規級CMOS圖像傳感器集成。例如思特威的片上ISP二合一圖像傳感器，在減小車載SoC中心運算負荷的同時，加快處理速度，強化汽車圖像處理效能。豪威科技與汽車視覺技術公司Nextchip開發的聯合解決方案，為中低端汽車后視鏡攝像頭（RVC）、環視系統（SVC）和電子后視鏡提供高質量圖像。

內置ISP的二合一車規級CMOS圖像傳感器，具有延時低、擴展兼容性高及可配置能力強等特點。通過結合圖像傳感器和專用ISP的能力，在中低端方案不增加系統配置的情況下，可以實現高質量的圖像，降低設計復雜性。并且通過預先調參等優化設計，也能夠為后續設計節省調試時間。

以上三種方案基本是當前車載ISP的主流方式，不過各有其優缺點：集成的優勢在于高度集成，布線面積更小，但ISP效果不算頂格；并且圖像傳感器+ISP的方式，隨著高像素、高畫質的需求不斷提升，傳感器的尺寸會變大，散熱可能會成為問題；獨立的ISP性能更優秀，比如高動態氛圍多級去噪處理、整體功耗更低等，但是對于下游設計有一定的技術門檻，只有足夠豐富的調優經驗等，才能充分發揮其全部能力。

不同的技術路線，也催生了商業模式的創新。例如英偉達方面，就和中科創達進行了Jetson和DRIVE的驅動開發和畫質調優（ISP Tuning）的合作，目前中科創達擁有英偉達專用實驗室，以及基于DRIVE 和 Jetson 兩大平臺的專業驅動、畫質調優、畫質測試（IQ test）團隊，為其生態伙伴提供全面系統的技術培訓和跟蹤式問題解答支持。

ISP IP的進擊

車載ISP的增長潛力，IP廠商早在六七年前就已看到。

2016年，Arm收購了一家成像技術開發商Apical，其中一個目標應用就是高端車載應用領域的ADAS系統。當時，計算機視覺還處于開發早期階段，專用的圖像計算解決方案顯露出一定的增長潛力。

收購之后的第二年，Arm發布了旗下第一款ISP Mali-C71，專門面向ADAS。此后，Arm在該領域不斷投入。今年6月，Arm發布Mali-C55，這是 Arm 迄今為止面積最小且可配置性最高的 ISP 產品，它可以識別時速 75 英里 (約 120.7 公里) 速度下移動的車輛車牌。Mali-C55 具備8個獨立輸入的多攝像頭功能，可支持高達 8K 的圖像分辨率和 4800 萬像素的最大圖像尺寸，可通過多種功能實現較高的圖像質量。同時，Mali-C55 的芯片面積僅為前幾代產品的近一半，并且可提供更強大的功能，大幅減少功耗并延長電池續航時間，與此同時，還降低了這些設備的成本。

本土市場方面，安謀科技于2020年12月推出了自研的首款產品“玲瓏” i3/i5 ISP處理器。根據前期的市場反饋，“玲瓏”i3/i5 ISP 處理器在寬動態處理效果和信噪比處理水平方面表現較好。依托數字寬動態與融合寬動態結合的算法技術，“玲瓏” i3/i5 ISP 處理器達到了像素級的局部寬動態自適應提升，并采用多尺度、多級降噪技術，以支持 2D/3D 自適應降噪，達到更好的信噪比表現。

除了IP廠商，芯片廠商也在加碼自研ISP，目的是進一步提升圖像效果，樹立品牌的差異化特點。比如酷芯微電子，在其AI視覺芯片中就采用了自研的ISP和NPU。其自主研發的ISP在2D降噪、3D降噪、HDR、去霧、EIS等各方面都進行了優化。

黑芝麻也推出了自研的車規級圖像處理器NeuralIQ ISP，可支持12路高清相機接入，單芯片每秒可處理15億像素圖像，可以支持多路攝像頭并行實時地處理。

車載ISP創新方向？

不論是獨立ISP，還是ISP集成于SoC或ISP+圖像傳感器，每種技術路線的廠商都在爭奪ISP的制高點。

有業內人士認為，ISP的增長是確定的，更符合產業需求和用戶需求的ISP芯片，應該具備三大特征：

從供應鏈層面滿足需求，具有應對不確定性的彈性，一方面要包含差異化的軟硬件基礎，另一方面要更注重本土自研的創新。

更高的性能。滿足自動駕駛對圖像畫質更高精度的需求，比如捕捉非常大的視覺動態范圍，并且比人眼更精準地識別暗處和明亮的圖像細節，以保證行車及路人的安全。

更低的功耗。耗電、發熱等問題可能會影響整體部署成本和用戶體驗，這就要求ISP的創新不能以能效為代價，要更好地滿足實現自動駕駛過程中的現實需要。

寫在最后

ADAS及自動駕駛的視覺感知競爭正在進入縱深階段，這其中，高像素攝像頭已經成為趨勢，而關乎圖像處理質量的ISP已經成為競爭高地。

由于攝像頭在智能化、分辨率、幀率等方面要求越來越高，智能攝像頭除了包含基本的CPU，更多地使用ISP和ML加速器將成為常態。性能強大的ISP處理器，將有助于提升自動駕駛產業鏈的智能化水平。

基本可以判定的是，低端市場可能會沿用原有架構的產品，但專用處理ISP和ML加速器可能會被越來越多地使用，因為要實現高效的系統設計，為數據類型和處理匹配相應的 ISP非常重要。

ISP對于汽車視覺具有重要意義，隨著技術的演進，一些最新的 ADAS 應用，都將對車載圖像處理提出更高要求，一方面是高質量的圖像獲取，另一方面是對圖像的快速處理和分析，這就使得越來越多的 ADAS 芯片需要通過ISP對畫面進行多重曝光處理、去噪與合成。而隨著每輛汽車攝像頭數量的增加以及傳感器融合技術變得越來越智能，功能強勁的ISP 將會變得越來越重要。

編輯：黃飛

?