從可視門鈴到現代汽車，依賴攝像頭的應用種類不斷增加。對于許多這類系統而言，實時獲得高分辨率圖像正是保障系統有效運行的關鍵。畢竟，如果門鈴無法清晰地識別偷走門口快遞的小偷，或者汽車無法準確檢測道路障礙物，它們的價值將大大降低。如今，深度學習模型已被越來越多的開發者用來增強這些產品所需的視覺處理能力。

視覺處理應用逐漸開始利用人工智能（AI）來提高圖像質量或實現物體檢測等高級AI功能。原本，計算機視覺應用僅依靠高級數字信號來處理操作（DSP），現如今已經開始將DSP和AI結合起來運用。目前，神經處理器IP解決方案也已問世，它具有超低功耗和超小尺寸，支持包括Transformer在內的最新AI神經網絡，每秒可執行高達2萬億次運算（TOPS）。本文將進一步討論新思科技具有1,024個MAC的ARC NPX6-1K NPU處理器IP如何幫助開發者在芯片設計中引入更多的智能功能。

AI Transformer + 神經網絡 = 令人驚嘆的視覺處理

各類產品對人工智能的需求與日俱增，在計算成像領域尤為明顯。智能手機已經普遍集成了攝像頭，且能夠提供高質量的圖像，這也為將攝像頭集成到從門鈴到醫療設備等各種產品鋪平了道路。計算成像有兩個分支：

• 計算攝影，涉及使用數字計算來捕獲和處理圖像。
  

• 計算機視覺，涉及打造能像人類一樣處理、分析和理解視覺數據的數字系統

事實證明，AI驅動的計算機視覺技術是實時提供準確、高分辨率圖像的關鍵技術。過去，卷積神經網絡（CNN）是計算機視覺應用領域的主流算法。神經網絡一直普遍用于物體檢測，如今在圖像質量改進方面發揮著重要作用，接管多項曾經由數字信號處理器完成的任務。例如，神經網絡可以嵌入關于什么是優質圖像的知識，通過超分辨率網絡將視頻流分辨率提高4倍，并可用于減少噪點和提高弱光性能。AI驅動的計算機視覺技術還擁有包括模糊降低、高動態范圍和寬動態范圍等功能。

如今，最高精度的方案是Transformer。該AI模型最初用于自然語言處理，比如翻譯和問答。Transformer基于自注意力機制，相比CNN，它更擅長學習復雜的模式，實現準確的物體檢測，也能更好地理解情境。如果結合使用這兩種深度學習模型，可以顯著增強計算機視覺和圖像處理精度。

將AI驅動的視覺處理集成到更廣泛的應用中

全新ARC NPX6-1K NPU IP具有1,024個MAC，為開發者提供了一個很好的入口點，讓開發者能夠為功耗和面積受限的視覺處理設計添加最新神經網絡（特別是Transformer）的支持。該IP還提供了另一個版本，即ARC NPX-1KFS NPU IP，其中提供了先進的硬件安全功能，有助于汽車設計更快通過ISO 26262認證。NPX6-1K和1KFS處理器能夠與新思科技ARC VPX2 DSP處理器IP緊密集成，從而為DSP 和神經網絡Transformer 提供市場上最節省面積和功耗的AI+DSP 解決方案。NPX6和VPX解決方案組合可以向上擴展，并且可以混合和匹配使用不同的配置，從而支持大型DSP+小型AI，或是大型AI+小型DSP等。

具有1,024個MAC的神經網絡處理器支持多種用例。以下是其中一些示例：

• 在攝像頭應用中，在圖像信號處理器（ISP）之前處理原始數據，以實現更好的降噪，從而提高圖像質量，而不是使用ISP處理原始數據，然后在后期處理過程中應用AI
  

• 通過運行神經網絡算法，可以將顯示的圖像精度提高4倍，同時大幅降低功耗和面積

• 在視覺應用中直接處理來自圖像傳感器的流數據，從而大幅減少無DRAM架構的面積和功耗

• 使用成本較低的攝像頭鏡頭，然后借助神經網絡算法來提高圖像質量，或在汽車應用中，提高諸如物體檢測等功能的準確性

• 將AI集成到汽車雷達和激光雷達設計中，以支持物體檢測和自動剎車等應用

• 為汽車環境中使用的虛擬機提供支持，幫助分隔安全關鍵型和非安全關鍵型任務，并簡化認證要求

除上述用例外，還有許多其他使用場景，ARC NPX6-1K等處理器的出現開辟了將AI集成到眾多新應用中的可能性。

屢獲殊榮的可擴展NPU IP

隨著新成員的加入，ARC NPX NPU IP系列現已從1K擴展到96K MAC，并能夠在單個SoC上提供高達3,500 TOPS的性能。新思科技ARC MetaWare MX開發工具包提供一站式工具鏈，可加速IP的應用開發，并自動為算法分配MAC資源，以實現高效處理。今年早春的2023年邊緣人工智能與視覺產品年度大獎中，此IP榮獲由邊緣人工智能與視覺聯盟頒發的“最佳邊緣人工智能處理器”獎項。