電子發燒友網>電子資料下載>電子資料>使用 FPGA 快速路徑構建高性能、高能效的邊緣 AI 應用

使用 FPGA 快速路徑構建高性能、高能效的邊緣 AI 應用

2512857 2022-11-24 | pdf | 439.27KB | 次下載 | 免費

資料介紹

希望在邊緣推理處理器上實施人工智能 (AI) 算法的設計人員一直面臨著降低功耗和縮短開發時間的壓力，即使處理需求在增加。現場可編程門陣列 (FPGA) 為實現邊緣 AI 所需的神經網絡 (NN) 推理引擎提供了一種特別有效的速度和功率效率組合。然而，對于不熟悉 FPGA 的開發人員來說，傳統的 FPGA 開發方法可能看起來很復雜，常常導致開發人員轉向不太理想的解決方案。希望在邊緣推理處理器上實施人工智能 (AI) 算法的設計人員一直面臨著降低功耗和縮短開發時間的壓力，即使處理需求在增加。現場可編程門陣列 (FPGA) 為實現邊緣 AI 所需的神經網絡 (NN) 推理引擎提供了一種特別有效的速度和功率效率組合。然而，對于不熟悉 FPGA 的開發人員來說，傳統的 FPGA 開發方法可能看起來很復雜，常常導致開發人員轉向不太理想的解決方案。本文介紹了本文介紹了Microchip TechnologyMicrochip Technology的一種更簡單的方法，它讓開發人員繞過傳統的 FPGA 開發，使用 FPGA 和軟件開發工具包 (SDK) 創建經過訓練的神經網絡，或者使用基于 FPGA 的視頻工具包立即進入智能嵌入式視覺應用程序開發。的一種更簡單的方法，它讓開發人員繞過傳統的 FPGA 開發，使用 FPGA 和軟件開發工具包 (SDK) 創建經過訓練的神經網絡，或者使用基于 FPGA 的視頻工具包立即進入智能嵌入式視覺應用程序開發。為什么要在邊緣使用 AI？為什么要在邊緣使用 AI？邊緣計算為工業自動化、安全系統、智能家居等不同領域的物聯網 (IoT) 應用程序帶來了許多好處。在以工廠車間為目標的工業物聯網 (IIoT) 應用程序中，邊緣計算可以通過消除基于云的應用程序的往返延遲來顯著縮短過程控制循環中的響應時間。同樣，基于邊緣的安全系統或智能家居門鎖即使在與云的連接意外或有意斷開時也能繼續發揮作用。在許多情況下，在任何這些應用程序中使用邊緣計算都可以通過減少產品對云資源的依賴來幫助降低總體運營成本。而不是隨著對其產品的需求增加而面臨對額外昂貴的云資源的意外需求，邊緣計算為工業自動化、安全系統、智能家居等不同領域的物聯網 (IoT) 應用程序帶來了許多好處。在以工廠車間為目標的工業物聯網 (IIoT) 應用程序中，邊緣計算可以通過消除基于云的應用程序的往返延遲來顯著縮短過程控制循環中的響應時間。同樣，基于邊緣的安全系統或智能家居門鎖即使在與云的連接意外或有意斷開時也能繼續發揮作用。在許多情況下，在任何這些應用程序中使用邊緣計算都可以通過減少產品對云資源的依賴來幫助降低總體運營成本。而不是隨著對其產品的需求增加而面臨對額外昂貴的云資源的意外需求，對機器學習 (ML) 推理模型的快速接受和不斷增長的需求極大地放大了邊緣計算的重要性。對于開發人員而言，推理模型的本地處理有助于減少基于云的推理所需的響應延遲和云資源成本。對于用戶而言，使用本地推理模型可以增加他們的產品將繼續運行的信心，盡管互聯網連接偶爾會中斷或產品供應商的基于云的產品發生變化。此外，對安全和隱私的擔憂會進一步推動對本地處理和推理的需求，以限制通過公共互聯網傳輸到云端的敏感信息量。對機器學習 (ML) 推理模型的快速接受和不斷增長的需求極大地放大了邊緣計算的重要性。對于開發人員而言，推理模型的本地處理有助于減少基于云的推理所需的響應延遲和云資源成本。對于用戶而言，使用本地推理模型可以增加他們的產品將繼續運行的信心，盡管互聯網連接偶爾會中斷或產品供應商的基于云的產品發生變化。此外，對安全和隱私的擔憂會進一步推動對本地處理和推理的需求，以限制通過公共互聯網傳輸到云端的敏感信息量。開發用于基于視覺的對象檢測的神經網絡推理模型是一個從模型訓練開始的多步驟過程，通常使用公開可用的標記圖像或自定義標記圖像在 ML 框架（例如 TensorFlow）上執行。由于處理需求，模型訓練通常使用云端或其他高性能計算平臺中的圖形處理單元 (GPU) 執行。訓練完成后，模型將轉換為能夠在邊緣或霧計算資源上運行的推理模型，并將推理結果作為一組對象類別概率提供（圖 1）。開發用于基于視覺的對象檢測的神經網絡推理模型是一個從模型訓練開始的多步驟過程，通常使用公開可用的標記圖像或自定義標記圖像在 ML 框架（例如 TensorFlow）上執行。由于處理需求，模型訓練通常使用云端或其他高性能計算平臺中的圖形處理單元 (GPU) 執行。訓練完成后，模型將轉換為能夠在邊緣或霧計算資源上運行的推理模型，并將推理結果作為一組對象類別概率提供（圖 1）。圖 1：為邊緣 AI 實施推理模型位于需要使用可用或自定義訓練數據在框架上訓練和優化神經網絡的多步驟過程的最后。（圖片來源：微芯科技）圖 1：為邊緣 AI 實施推理模型位于需要使用可用或自定義訓練數據在框架上訓練和優化神經網絡的多步驟過程的最后。（圖片來源：微芯科技）