眼睛是大自然進化杰作的結果。從感光視網膜到攜帶信息的視神經，再到分析神經系統——自然視覺是一項高度復雜的數據處理活動，它使用低功耗神經網絡。對所見事物的智能抽象使人類和動物能夠在幾分之一秒內得出結論，眼睛捕捉到的可見光與他們的生活有什么相關性。這種自然智能的杰作用了數百萬年的時間來進化。人工智能 (AI) 系統的開發人員需要更快地實現這一壯舉。

因此，人工智能加速應用程序的開發人員正在轉向緊湊型和預配置的嵌入式視覺套件，這些套件以節能的方式結合了經過驗證的人工智能硬件和軟件。目前，人們對專用邊緣計算解決方案特別感興趣。對于 AI 加速系統，這是根據圖像信息實時做出明智決策的神經痛點。通過基于云的分析繞道而行需要更長的時間，并且取決于持續的網絡可用性。而在邊緣，您始終處于動作現場，這使得在幾分之一秒內自動獲取和評估視覺圖像數據成為可能。

邊緣解決方案必須穩健可靠

對于這種視覺邊緣計算系統來說，強大而可靠的硬件是絕對必要的，因為數據無法在受保護的空調環境中處理，就像云計算一樣。無論是部署在戶外還是在野外，在車輛上旅行還是坐在制造車間，視覺邊緣計算系統都必須具有彈性。

對 AI 視覺的需求來自視覺應用，例如農業中的成熟水果檢測、制造業中的自動化產品檢測、樓宇自動化中的訪問控制或銷售點零售購物車中的產品識別。基于邊緣的實時分析優于人工檢查，因為它每周 7 天、每天 24 小時工作。這些優勢對于惡劣環境中的工業操作尤為重要。以監控風力渦輪機為例，或對生產過程進行安全相關的視頻監控。麥肯錫的一項研究發現，人工智能系統還可以通過預測性維護將工廠利用率和生產力提高多達 20%。帶有自動缺陷檢測的視覺質量監控甚至可以將生產率提高多達 50%。

所有這些應用程序的共同點是，它們必須在提供的圖像、視頻或機器數據中找到模式以進行決策。更重要的是，這些應用程序必須能夠識別模式或對象，即使它們與模型 100% 不匹配。例如，必須正確識別交通標志，無論它是從哪個角度記錄的，或者是否有一半被雪或泥土覆蓋。這需要挖掘大量數據。

標準 CPU 不適用于此類任務，因為它們針對具有最高數學正確性的一次計算過程進行了優化。因此需要另一種計算方法。人工智能需要人工神經網絡來模仿大腦的直觀工作方式。與必須準確計算所有內容和每個點以做出決定相比，這使得識別和決策制定速度更快。

NPU——嵌入式視覺系統的核心

神經形態處理器或神經處理單元 (NPU) 對于為邊緣的深度學習和機器學習提供這種計算性能是必不可少的。NPU 擅長分析圖像和模式，使其成為 AI 加速嵌入式視覺系統的中央計算單元。受大腦神經網絡架構的啟發，神經形態處理器是事件驅動的，只是偶爾需要電源。這意味著 NPU 僅消耗幾瓦，即使對于最高的計算和圖形任務也是如此。

NPU 是高度專業化的計算核心，經過優化以執行機器學習算法。它們不僅可以處理高度并行的工作負載，還可以極快地計算重復性任務。這對于卷積神經網絡很重要，因為卷積神經網絡中的數據點必須在數千個范圍內進行折疊。例如：在全高清圖像中，大約需要處理 200 萬像素。這需要每秒處理許多操作 (OPS)，而 NPU 需要實現每秒數萬億次操作 (TOPS) 的性能才能滿足邊緣計算要求。但是，即使是極其強大的 CPU 也無法提供這種性能，這怎么可能呢？在這里，另一個區別點開始發揮作用：單個 AI 指令不像 x86 或 ARM CPU 等標準應用處理器的指令集那么復雜。因此，每個計算步驟消耗的資源沒有 32 位或 64 位系統那么多。但最終，工程師在他們的應用中需要兩者。

為邊緣定制的入門套裝

這就是為什么像 NXP 的 i.MX 8M Plus 這樣的處理器將這樣的 NPU 與四個標準 Arm Cortex-A53 內核和一個 Arm Cortex-M7 控制器集成在一起，以構建適合機器學習并可以高效執行 AI 算法的應用處理器。但在視覺應用中，只有當圖像以必要的質量實時交付時，所有這些才有意義。因此，工程師還需要一個圖像信號處理器 (ISP)，以便在采集過程中對圖像和視頻進行預處理。這種預處理質量越高，NPU 中的后處理就越準確。因此，高質量的 ISP 不僅適用于高性能工業圖像處理；在任何可以使用圖像處理算法來產生更好的視覺效果的地方，這都是一個福音。

人工智能加速的眼睛

Another important point is how vision data are received. One channel for vision data communication is MIPI CSI-2.0. If this interface is also pre-integrated in the processor, no additional converter modules are required. This not only simplifies system design but also minimizes the physical footprint. A small size combined with low power consumption and minimal heat dissipation are essential requirements for AI based vision at the edge for applications such as battery powered autonomous vehicles in logistics and farming.

同時，應用程序還應支持連接相機的不同通信標準，例如 USB 3 或 GigE 視覺，這些標準在機器人和質量檢測的工業應用中很常見。特別是 GigE 視覺允許相機和 NPU 之間的距離更長。例如，這對于公共汽車和火車中的視頻監控應用至關重要。

專為人機交互而設計

但是基于 NPU 的嵌入式視覺系統的應用范圍遠遠超出了人或物體的識別。例如，手勢和情感識別與自然語言處理相結合，將人與機器之間的交互通信應用提升到了一個新的水平。超短的響應時間和精確的本地化有助于優化工業制造中的機器人產品組裝或倉庫物流。并且配備了高安全標準，甚至可以在客戶服務或醫療保健等敏感領域找到應用。

構建塊靈活性

鑒于可能的嵌入式視覺應用的多樣性，不言而喻，該領域的技術平臺必須允許開發定制應用。一個通用的解決方案將不適合。因此，開發人員需要一組預配置的構建塊，他們可以輕松地適應他們的個人需求。這些不僅應包括硬件組件，還應包括軟件支持。

在硬件方面，采用模塊化計算機的模塊化方法是一種廣泛使用且高效的設計原則。計算機模塊將所有必需的組件集成在一個應用就緒的構建塊中：具有集成 NPU、ISP 和 MIPI CSI-2.0 支持的 SoC，例如 NXP 的 i.MX 8M Plus、RAM 和用于 USB 等附加接口的通用控制器，以太網和 MMC 在一個具有可擴展性能的標準化模塊上。整個構建塊被插入到特定應用的載板上，該載板只執行所需的外部接口，并且可以很容易地設計成適合所需的物理尺寸和堅固性。

定制視覺

如果這些模塊不僅帶有標準的 BSP，而且還帶有對中間件和應用程序級的全面軟件支持，那么這些模塊的設計是最容易的。為了獲得最大的靈活性，開發人員還需要預配置工具，例如可用于 MIPI CSI-2.0 以及 USB 3 或 GigE 等其他工業相機標準的視覺相機 SDK。軟件解決方案應集成推理引擎和庫，例如 Arm 神經網絡 (NN) 和基于開源的 TensorFlow Lite，以最有效地提供所需的 AI 發現。恩智浦 eIQ 機器學習環境等軟件開發平臺為開發人員提供了適用于恩智浦微處理器和微控制器的專用庫和開發工具。

憑借其 AI 入門套件（參見圖 1），康佳特制作了一個具有集成軟件支持的模塊，可用于加速 NXP 處理器的實施。

點擊查看完整大小的圖片

圖 1：congatec 的 AI 加速嵌入式視覺入門套件集成了 AI 眼睛的關鍵組件：作為眼睛的 Basler dart 相機、帶有 2x MIPI CSI 作為視神經的 SMARC 2.1 載板以及作為視神經的 SMARC 2.1 模塊大腦。（來源：康佳特）

該套件的核心是一個信用卡大小的 SMARC 2.1 計算機模塊 (COM)（圖 2）。該模塊基于 i.MX 8M Plus 處理器，可讓開發人員快速、安全地將 AI 視覺引入其邊緣應用程序。

點擊查看完整大小的圖片

圖 2：AI 視覺背后的大腦：conga-SMX8-Plus SMARC 2.1 模塊將神經形態智能帶到了邊緣，TDP 僅為 6 瓦。（來源：康佳特）

該模塊適用于 -40 至 +85°C 溫度范圍內的工業應用，工作功耗低，僅為 2 至 6 瓦，并帶有被動冷卻功能。這使其非常適合各種戶外和移動車輛應用。

結論

嵌入式視覺的集成對于人工智能加速系統的成功至關重要——無論它們部署在自動駕駛汽車、視頻監控攝像頭還是協作機器人中。開發人員可以使用預配置的嵌入式視覺構建模塊（例如康佳特的 AI 入門套件）更輕松、更快速地創建自定義解決方案。康佳特與 Basler 合作開發的這個構建模塊平臺將 NXP i.MX 8 Plus 處理器與其集成的神經處理單元 (NPU) 相結合。

審核編輯 黃昊宇