這是新的系列教程，在本教程中，我們將介紹使用 FPGA 實現深度學習的技術，深度學習是近年來人工智能領域的熱門話題。

在本教程中，旨在加深對深度學習和 FPGA 的理解。

用 C/C++ 編寫深度學習推理代碼

高級綜合 (HLS) 將 C/C++ 代碼轉換為硬件描述語言

FPGA 運行驗證

在之前的文章中，我們已經依次抽取了推理核的任務并行度和循環并行度和數據并行性。在本文中，我們將繼續優化。

最終版本包括全連接層的循環數據并行化

在上篇文章中《從FPGA說起的深度學習（八）-數據并行性》，全連接層是一個瓶頸，所以我們實現了一個優化了全連接層的版本。我不會在此處粘貼代碼，因此請查看代碼存儲庫中的linear.h （文末）。全連接層是向量和矩陣的乘積，因此與卷積層不同，它不能在兩個通道上并行化，但基本上可以使用與卷積層相同的過程進行優化。

如第 6 篇文章所示，當任務之間的處理時間一致時，任務并行性最有效。下表顯示了最終版本的并行化程度和執行周期數，它是根據這個目標進行參數調整的conv1, conv2, fc1, fc2。本來，處理fc2一直很低，但現在其他內核基本平衡了。

?

?

各層的并行度和處理性能

整體加速結果

從第8篇到第3篇，我們將任務并行化、循環并行化、數據并行化應用于推理內核。下表總結了這些方法的優化結果。

另外，雖然在之前的文章中沒有涉及到，但每個優化結果的資源使用情況如下：

首先，看執行性能，這些調優最終使其比基線快 417.87 倍。兩個特別有效的是使用本地緩沖區減少外部內存訪問和最終版本（加速完全連接的層+層之間的平衡）。這兩者中，前者需要大量增加RAM資源，后者需要增加運算單元資源（DSP、LUT）。

另外，雖然我們已經實現了400多倍的性能提升，但即使是資源增量方面增速最高的DSP，也只是63 / 20 = 3.15翻了一番。特別是任務并行化和循環并行化是非常有利的結果，因為幾乎不增加資源就可以提高性能。

即使使用當前內核，FPGA 內部仍有大量資源，因此可以應用進一步的優化。可以像這次一樣進一步提取內核內部的數據并行性，也可以復制內核本身，取幀間的并行性。特別是，如果只使用前者，在綜合時很難滿足時序限制，所以我認為有時不得不采用后者的方法。

總結

本次針對的 MNIST 數據集是一個非常小的數據集，圖像大小為 28×28。此外，該模型是一個非常輕量級的網絡模型。如果將這些做成更真實的數據模型，計算規模會發生如下變化。

分辨率：28×28 -> 幾百到幾千的寬高

網絡規模：2層（卷積層轉換）->幾十到幾百

粗略計算一個真實模型所需的計算量，大約是本次創建的網絡模型量的1000到100萬倍。如果這個是1000倍左右的話，即使以現在配置的運算單元數也能處理幾十毫秒的量級，但如果再增加的話，60fps這樣的實時圖像處理就會變得困難。為此，實際上使用量化和修建等技術來降低計算成本。我們將在下一篇也是最后一篇文章中介紹這些內容。

編輯：黃飛

?