從多攝手機(jī)的普及到安防監(jiān)控、智能車載攝像頭以及機(jī)器視覺的飛速進(jìn)步，CMOS圖像傳感器成為名副其實(shí)的黃金賽道，每年出貨量逼近百億顆大關(guān)。

4月17日，在全球CMOS傳感器應(yīng)用技術(shù)峰會(huì)上，愛芯元智ISP系統(tǒng)專家張興發(fā)表題為《關(guān)于AI-ISP下一步發(fā)展和廣泛應(yīng)用》的演講，深度剖析了愛芯元智的自研核心技術(shù)愛芯智眸AI-ISP，如何打破傳統(tǒng)黑光成像局限，實(shí)現(xiàn)真黑光全彩實(shí)時(shí)影像，并揭示了自研NPU在其中的關(guān)鍵作用以及對(duì)大模型在端側(cè)應(yīng)用的前瞻性布局。

真黑光全彩，定義行業(yè)新標(biāo)準(zhǔn)

一般來說，黑光級(jí)意味著攝像機(jī)可以在0.01lux及以下照度的條件下工作。可是，傳統(tǒng)的黑光級(jí)攝像機(jī)往往依賴于大版面?zhèn)鞲衅?、低分辨率、大光圈等手段來捕捉微弱光線，這些方法不僅可能導(dǎo)致色彩飽和度不足、運(yùn)動(dòng)物體失真，還伴隨器件提升帶來的巨大成本攀升，難以滿足日益嚴(yán)苛的行業(yè)需求。愛芯元智首創(chuàng)自研的愛芯智眸AI-ISP，結(jié)合了愛芯通元混合精度NPU則顛覆了這一現(xiàn)狀，不僅極大提高了AI識(shí)別率，還解決了低照和寬動(dòng)態(tài)成像的時(shí)代難題，成功將黑光全彩成像變?yōu)楝F(xiàn)實(shí)，并且大幅降低設(shè)備的綜合成本。

“如果說，CMOS是生物視覺系統(tǒng)中的視網(wǎng)膜，那么，NPU賦能的AI-ISP則是大腦對(duì)圖像的處理機(jī)制。其整合了傳統(tǒng)ISP的圖像優(yōu)化功能與人工智能算法，能夠?qū)@些初始的數(shù)字圖像進(jìn)行深度分析與理解，就像人腦通過復(fù)雜的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)視網(wǎng)膜傳遞的信號(hào)進(jìn)行解析，從而識(shí)別物體、理解場景并做出基于視覺信息的決策。”

愛芯智眸AI-ISP - 客戶實(shí)例

實(shí)測數(shù)據(jù)顯示，搭載新一代愛芯智眸AI-ISP的攝像機(jī)即使在<0.01Lux的極端暗光條件下，也能在無需任何補(bǔ)光的情況下，以25～30幀的高幀率實(shí)現(xiàn)智能降噪和超寬動(dòng)態(tài)成像，實(shí)現(xiàn)全彩畫面的實(shí)時(shí)、高飽和度還原，運(yùn)動(dòng)物體呈現(xiàn)無拖影、透視或鬼影的清晰影像。

愛芯元智率先提出了“真黑光”六大要素——低照度下無補(bǔ)光全彩、實(shí)時(shí)幀率、運(yùn)動(dòng)物體精準(zhǔn)識(shí)別、色彩準(zhǔn)確還原、成本效益及產(chǎn)品化易用性，強(qiáng)調(diào)只有同時(shí)滿足這些條件，才能在極暗場景下實(shí)現(xiàn)卓越的視頻效果，切實(shí)提升用戶體驗(yàn)。

AI賦能ISP，突破傳統(tǒng)“天花板”

在全天候條件下，如何提升AI的識(shí)別率，達(dá)到真正的智能好用，是行業(yè)最大痛點(diǎn)。愛芯元智從技術(shù)原理出發(fā)，對(duì)愛芯智眸AI-ISP的架構(gòu)創(chuàng)新，通過AI賦能ISP Pipeline中的五大關(guān)鍵模塊——HDR、3DNR、SR、RLTM和Demosaic，運(yùn)用AI訓(xùn)練手段持續(xù)優(yōu)化這些模塊的性能，有效打破了傳統(tǒng)ISP成像的性能瓶頸，成功將有限的算力聚焦于人眼感知最為敏感的功能模塊，通過AI化重要模塊實(shí)現(xiàn)ISP的最佳效果。

大模型驅(qū)動(dòng)，成就差異化優(yōu)勢(shì)

隨著大模型的發(fā)展，愛芯元智已經(jīng)率先在自己的AI-ISP發(fā)展中引入大模型技術(shù)，促進(jìn)AI-ISP技術(shù)發(fā)展。愛芯智眸AI-ISP的強(qiáng)大性能背后，離不開自研愛芯通元NPU的有力支撐。

高效能計(jì)算

愛芯通元NPU能夠同時(shí)支持多種數(shù)據(jù)精度（如FP16、INT4、INT8、BF16等），對(duì)于不同類型的計(jì)算任務(wù)或模型層選擇最合適的精度進(jìn)行處理。在保證模型精度的前提下，大幅降低功耗和發(fā)熱量，這對(duì)于嵌入式或移動(dòng)設(shè)備中的AI-ISP來說尤為重要，有助于延長電池續(xù)航和提高系統(tǒng)整體能效。

加速推理速度

愛芯通元NPU通過在不同精度級(jí)別上分配計(jì)算任務(wù)，可以進(jìn)一步提升硬件利用率和計(jì)算吞吐量，縮短AI-ISP在圖像信號(hào)處理中的推理時(shí)間，實(shí)現(xiàn)實(shí)時(shí)或近實(shí)時(shí)的圖像分析和理解。

內(nèi)存帶寬優(yōu)化

采用的混合精度計(jì)算減少了數(shù)據(jù)傳輸量，特別是在內(nèi)存訪問密集的操作中，低精度數(shù)據(jù)占用的存儲(chǔ)空間較小，有助于緩解內(nèi)存帶寬壓力，減少數(shù)據(jù)搬移時(shí)間，從而突破內(nèi)存墻限制。這對(duì)于AI-ISP處理高分辨率、高幀率的視頻流或連續(xù)的圖像傳感器數(shù)據(jù)時(shí)，能夠有效降低延遲，提升整體系統(tǒng)的響應(yīng)速度。

精準(zhǔn)性能權(quán)衡

愛芯通元NPU允許在推理過程中根據(jù)任務(wù)特性和模型層的重要性動(dòng)態(tài)調(diào)整精度。對(duì)于對(duì)精度要求較高的關(guān)鍵層，可以使用較高精度（如FP16）以保持精確的特征表達(dá)；而對(duì)于對(duì)精度要求相對(duì)較低的層或計(jì)算步驟，可以使用低精度（如INT8）來加速處理。這種靈活性使得AI-ISP能夠在圖像處理鏈路的不同階段靈活分配計(jì)算資源，實(shí)現(xiàn)性能與精度之間的最佳平衡。

系統(tǒng)級(jí)集成

愛芯通元NPU直接集成了AI-ISP所需的關(guān)鍵功能，如圖像預(yù)處理、噪聲抑制、色彩校正等，這些功能可以利用NPU的硬件加速特性高效執(zhí)行，減少對(duì)外部CPU或GPU的依賴。這樣的集成設(shè)計(jì)簡化了系統(tǒng)架構(gòu)，降低了數(shù)據(jù)在不同處理單元之間傳輸?shù)拈_銷，提高了整體系統(tǒng)的集成度和效率。

適應(yīng)性強(qiáng)

愛芯通元NPU支持模型的混合精度訓(xùn)練，使得原本在高精度下訓(xùn)練的模型可以經(jīng)過量化后在低精度模式下運(yùn)行，無需重新訓(xùn)練或微調(diào)即可遷移到AI-ISP中。這種特性增強(qiáng)了AI-ISP對(duì)各類預(yù)訓(xùn)練模型的兼容性，便于快速部署和更新算法，適應(yīng)不斷演進(jìn)的AI視覺應(yīng)用需求。

愛芯智眸AI-ISP - 降噪

愛芯智眸AI-ISP - 寬動(dòng)態(tài)、高光抑制

愛芯智眸AI-ISP - 夜間運(yùn)動(dòng)車身細(xì)節(jié)

通過集成高性能、低功耗的NPU，愛芯智眸AI-ISP能夠在不依賴DDR內(nèi)存、保持低延遲和低功耗的前提下，高效執(zhí)行復(fù)雜的ISP任務(wù),顯著提升了圖像信號(hào)處理的效率、準(zhǔn)確性和能效，助力實(shí)現(xiàn)從圖像采集到高級(jí)視覺理解的無縫銜接和實(shí)時(shí)響應(yīng)，尤其是NPU的可編程性，使其能夠靈活適應(yīng)不斷發(fā)展的AI網(wǎng)絡(luò)模型，確保持續(xù)提供出色的性能表現(xiàn)。

前瞻布局，擁抱大模型時(shí)代

隨著人工智能步入以大模型為核心的新紀(jì)元，愛芯元智憑借其深邃的行業(yè)洞察力與前瞻性的戰(zhàn)略視野，積極順應(yīng)這一變革浪潮。事實(shí)上，在三年前愛芯元智擘畫芯片藍(lán)圖之際，便已精準(zhǔn)預(yù)見到大模型將重塑AI行業(yè)的未來格局。為此，在設(shè)計(jì)之初就確保芯片原生支持Transformer，無縫對(duì)接AIPC時(shí)代，從而確保在瞬息萬變的市場環(huán)境中迅速占得先機(jī)。

源于圖像處理對(duì)實(shí)時(shí)性、可靠性和隱私保護(hù)的高要求，使得AI必然從云端逐步下沉至端側(cè)邊緣側(cè)，這對(duì)端側(cè)計(jì)算能力提出了前所未有的高標(biāo)準(zhǔn)。愛芯元智的第三代、第四代芯片已搭載愛芯通元混合精度NPU，全面支持Transformer大模型的部署，確保在有限的硬件資源下實(shí)現(xiàn)復(fù)雜模型的本地化運(yùn)行。不僅如此，愛芯元智還在積極探索如何借助大模型進(jìn)一步提升AI-ISP的成像效果，從而在大模型時(shí)代的競爭中持續(xù)保持創(chuàng)新領(lǐng)先優(yōu)勢(shì)。

大模型家族

開放合作，共建個(gè)性化解決方案

愛芯元智的前端IPC芯片，已成功移植并優(yōu)化了市場上主流且廣泛應(yīng)用的各類算法，實(shí)現(xiàn)了與后端芯片的無縫對(duì)接，并與成熟的算法廠商深度合作，通過持續(xù)推動(dòng)成熟、商業(yè)價(jià)值顯著的算法適配，打造出既易于復(fù)制，又能迅速部署到各行業(yè)的解決方案。

愛芯元智還提供一系列與ISP緊密相關(guān)的算法支持，適配多種AI碎片化場景，包括：人車非檢測、客流統(tǒng)計(jì)、摔倒檢測、煙火檢測、高空拋物檢測、電動(dòng)車進(jìn)電梯檢測、安全帽檢測、垃圾堆檢測、遛狗牽繩等等，助力合作伙伴快速實(shí)現(xiàn)產(chǎn)品差異化與市場競爭力。

愛芯元智期待與更多算法廠商、硬件方案商及系統(tǒng)集成商等生態(tài)伙伴合作，共建開放、多方共贏的算法生態(tài)，共同打造普惠AI，造就美好生活。

審核編輯：劉清