摘要

在瑞薩提供的R-Car SoC相關的一些DNN模擬器中，本文將重點介紹能夠實現與實際硬件等價運算的Accurate Simulator，并說明如何應用它來分析和提高神經網絡的精度。

太田 寛史

Principal Software Engineer

背景

R-Car SoC是我們提出的一種高性能、低功耗的SoC。為了在R-Car SoC上運行客戶用主流深度學習框架（如PyTorch、TensorFlow等）訓練的模型，需要采用剪枝^（*1）和量化^（*2）等非等效的近似方法進行模型壓縮。我們提供的R-Car CNN工具，不僅可以在R-Car SoC上執行上述近似程序，運行客戶訓練好的深度學習模型，還可以根據客戶的應用場景提供不同精度和速度的模擬器。這樣即使您沒有R-Car SoC硬件，也可以驗證操作和進行性能預估。^(*3)

在各類模擬器中，Accurate Simulator能獲得與實際R-Car SoC最為一致的輸出結果。本文提出使用Accurate Simulator對模型進行調試分析和精度改進的方法。通過逐步追蹤在實際的R-Car SoC中無法確認的模型的中間輸出，我們將介紹確定意外結果產生原因并提高準確性的方法。

使用場景

為了將客戶訓練好的深度學習模型轉換成可以在R-Car SoC上執行的格式，需要進行非等價的近似模型壓縮，如剪枝和量化。量化是一種將為浮點運算的模型近似為整數運算模型的方法。在這個過程中，每層輸出張量的最大值和最小值由多個輸入圖像估計，每層權重參數的最大值和最小值，以及量化參數（scaleとzero point）將被確定（校準）。當在實際的R-Car SoC或模擬器^（*4）上驗證這個量化模型時，與原始訓練模型的結果相比，不同的輸入圖像數據可能會導致意想不到的結果。在這種情況下，使用Accurate Simulator來分析模型是非常有用的，它可以直接觀察模型中的中間輸出，而這些輸出在實際的R-Car SoC上無法獲取。

使用Accurate Simulator

進行模型分析的流程

在上述案例中，校準時輸入圖像數據的質量或數量不足，可能導致（a）校準不理想或（b）中間輸出波動較大的層所導致的量化失敗。在這種情況下，首先確定原因是（a）還是（b），然后采取（a）增加或更新輸入圖像數據并再次進行校準，或（b）確定發生問題的層并增加該層的位寬以提高量化模型的準確性等有效方法。

Accurate Simulator是一個模擬器，旨在確保輸出結果與實際的R-Car SoC機器完全匹配。與R-Car SoC不同，Accurate Simulator允許用戶提取模型中每一層的中間輸出。具體來說，用戶可以用Accurate Simulator從輸入圖像數據的層側開始逐一提取各層的中間輸出，并與原始訓練模型的中間輸出相比較以確認誤差。

演示示例

當使用我們的R-Car SoC時，客戶使用我們的R-Car CNN工具將訓練好的模型轉換為R-Car SoC的執行格式并執行。以下假設在原始訓練模型（例如TensorFlow）和R-Car SoC的輸出結果在運行時不匹配的情況下找出原因并解決的方法。我們將說明如何使用Accurate Simulator直接比較原始TensorFlow模型和R-Car可執行格式模型的中間輸出來估計量化誤差。

1

將客戶訓練好的TensorFlow模型轉換為ONNX，并使用我們的R-Car CNN工具將其轉換為Accurate Simulator可執行的格式，同時提供量化條件和足夠數量的圖像數據用于校準。

2

運行客戶的TensorFlow模型，提取要比較的層的中間輸出。

3

使用R-Car SDK runtime，運行①中生成的Accurate Simulator的執行格式模型。需要比較的層的中間輸出可以在這個步驟被提取出來。

4

比較在②和③中得到的中間輸出的組成部分。Accurate Simulator的輸出結果是在模型量化的前提下以整數表示的，我們也準備了反量化的工具。圖中的圖表顯示了由TensorFlow和Accurate Simulator生成的中間輸出張量成分的直接比較。在這個例子中，比較結果幾乎是相同的，這一層沒有任何問題。

5

重復步驟①到④，以確定近似被破壞的那一層。通過增加相關層的量化參數的顯示位寬（如從8位到16位）可以提高量化模型的輸出結果精度。

圖1：TensorFlow和Accurate Simulator之間的中間輸出比較流程

總結

本文介紹了一種方法，當客戶訓練的模型在我們的R-Car SoC上運行，其輸出結果不盡如人意的時候，可以使用Accurate Simulator找出原因并提高模型的精度。Accurate Simulator的設計是為了獲得與實際R-Car SoC相當的計算結果，可用于調查無法使用實際設備檢查的模型的中間輸出。我們希望客戶能利用這一點進行模型的調試評估，提高模型的精度。今后，瑞薩將繼續致力于R-Car CNN工具的開發，供客戶用于模型評估和驗證。

備注

（*1）對識別結果貢獻小的權重被設置為零，這些權重的計算被跳過，從而減少計算量和內存的使用。

（*2）推理過程中浮點計算通常被轉換為近似（如8bit）的整數運算。這里的量化被稱為PTQ（post training quantization），它通過使用多個輸入圖像進行校準來優化量化參數（scale & zero point）。

（*3）點擊查看往期文章：R-Car DNN模擬器的介紹

（*4）除了Accurate Simulator外，瑞薩還提供指令集模擬器（ISS），其目的是實現與實際硬件相當的計算精度。不僅如此，ISS還模擬實際硬件的計算過程本身，使用戶能夠在非常接近實際硬件的環境下測試模型。

1

END

1

瑞薩電子 (TSE: 6723)

科技讓生活更輕松，致力于打造更安全、更智能、可持續發展的未來。作為全球微控制器供應商，瑞薩電子融合了在嵌入式處理、模擬、電源及連接方面的專業知識，提供完整的半導體解決方案。成功產品組合加速汽車、工業、基礎設施及物聯網應用上市，賦能數十億聯網智能設備改善人們的工作和生活方式。更多信息，敬請訪問renesas.com