依英特爾

概覽概覽

INT8 量子化是加速在x86 CPU平臺上進行深層學習推斷的有力技術。 通過將模型的重量和活化的精確度從32位浮點(FP32)降低到8位整數(INT8 ) , INT8 量子化可以顯著提高推論速度,降低內存要求,同時又不犧牲準確性。

我們將討論PyTorrch公司x86 CPU 的INT8 量化的最新進展, 重點是新的x86 量化后端。 我們還將簡要審視與 PyTorrch 2. 0 Export (PT2E) 和TrchInducor公司(TrchInducor) 的新的量化路徑。

X86 量化后端

PyTorrch目前建議的量化方式是:FX在 PyTorrch 2. 0 之前,x86 CPU 的默認量化后端(a.k.a.a. QEngine)是FBGEMM,它利用FBGEM 性能庫實現性能加速。在PyTorch 2.0 版中,引入了名為 X86 的新量化后端,以取代FBGEMM。x86 量化后端提供與FBGEM 原始后端相比,通過利用FBGEM和F英特爾-一ANAPI 深神經網絡圖書館( oneDNN)內核圖書館。

X86 后端的性能收益

為了衡量新的X86后端后端的績效效益,我們根據69個流行的深深學習模式(見圖1-3(以下) 使用第4 Genen Intelé Xeon可縮放處理器。結果顯示,與FP32 的推論性能相比,地平面性能加速2.97X,而FBGEMM后端的加速度為1.43X。下圖顯示,與x86 后端和FBGEMM后端相比,每個模型性能加速度是每模型性能加速度。

圖1 圖1: 使用 x86 后端1 的不小于 2x 的性能促進模型1

圖2 圖2: 2x-4x 286 后端1 的 2x-4x 性能助推模型

圖3 圖3: 具有 x86 后端1 的大于 4x 性能助推的模型1

x86 后端的使用

默認值為 2.0 時, x86 平臺上的用戶將使用 x86 的量化后端, 而使用默認后端時他們的 PyTorrch 程序將保持不變。 或者, 用戶可以指定 x86 為明確的量化后端 。
下面是PyTorrch 靜態訓練后量化的代碼片段, 帶有 x86 量化后端 。

從 cherch.ao. quantization 導入的點火炬 獲取 _ default_ qconfig_ 映射來自 rch. quantization. quantize_ fx 導入準備_ fx, 轉換_ fx qconfig_mapping = get_ default_ qconfig_mapping ()

x86 后端技術細節

我們根據我們基準模型的性能數字設計了超速發送規則,以決定是否援引一個DNN 或FBGEMM 性能圖書館來實施演進或矩陣乘法操作。這些規則是操作種類、形狀、CPU架構信息等組合。在這里關于更多的設計和技術討論,請參看以下文件:征求評論意見.

下一個步驟, 帶有新的量化路徑 PyTorch 2. 0 導出

新的量化路徑,即PyTorrch 2. 0 Export (PT2E),雖然還遠未最后確定,但還處于早期設計和PoC階段。新的方法將在未來取代FX量化路徑。它以TrchDymona Export 的能力為基礎,這是PyTorrch 2.0 發布FX 圖形時引入的一個特性。這個圖隨后被量化并降為不同的后端。TrchIngentor,即新的DL PyTorrch 編譯器,在FP32 加速x86 CPU的速度方面已經顯示出有希望的結果。我們正積極努力使它成為PT2E 的量化后端之一。我們認為,新的路徑將導致INT8 推論性表現的進一步改善,因為不同層次的熔化更加靈活。

結語

PyTorrch 2.0 版中引入的x86 后端顯示,在x86 CPU平臺上INT8 的推斷速度有了顯著改善。 與原始的FBGEMM后端相比,它提供了1.43X的加速速度,同時保持了后向兼容性。 這一增強可以使終端用戶受益,而其程序只需略微修改或不作任何修改。 此外,目前正在開發一個新的量化路徑,即PT2E, 正在開發之中, 并有望在未來提供更多的可能性 。

承認

特別感謝Nikita Sulga、Vasiliy Kuznetsov、Supriya Rao和Jongsoo公園。 我們一起在改善PyToch CPU生態系統的道路上又向前邁出了一步。

配置

1AWS EC2 r 7iz. metal-16xl situ (Intel(R) Xeon(R) Gold 6455B, 32-core/64-thread, Turbo Boft On, 超導, 內存: 8x64GB, 儲存: 192GB); OS: Ubuntu 22.04.1 LTS; Kernel: 5.1.50-1028-aws; 批量大小:1; 核心每例: 4; PyTorch 2.0 RC3; 火炬Vision 0.1.0 cpu, Intel于 3/77/2023 進行測試, 5月沒有反映所有公開的安全最新情況。


審核編輯：湯梓紅