英特爾在Hot Chips大會上發布了首款AI處理器，專為大型計算中心設計。該芯片基于10納米Ice Lake處理器，專為大型數據中心設計，可以用最少的能耗來處理高工作負載。本文帶來這款芯片的詳細設計細節。

近日在Hot Chips 2019大會上，英特爾發布了首款AI處理器，專為大型計算中心設計。

英特爾表示，該芯片由位于以色列海法的研發中心開發，名為Nervana NNP-I或Springhill，基于10納米Ice Lake處理器，可以用最少的能耗來處理高工作負載。

英特爾表示，隨著AI領域對復雜計算的需求日益增加，這款新的硬件芯片將有助于大型企業使用英特爾Xeon處理器。

在Hot Chips大會上，他們提供了這款AI芯片的更多設計細節。

英特爾首款AI芯片設計細節

英特爾正采取數項不同的舉措，通過其“無處不在的AI”('AI everywhere)戰略，擴大其在蓬勃發展的AI市場的影響力。該公司廣泛的產品包括GPU，FPGA和定制ASIC，用于應對AI領域的不同挑戰，其中一些解決方案專為計算密集型的訓練任務而設計，用于為目標識別、語音翻譯、語音合成等工作負載創建復雜的神經網絡，將產生的訓練模型作為輕量級代碼運行的單獨解決方案稱為推理。

英特爾的Spring Hill Nervana神經網絡推理處理器(NNP-I) 1000，我們在下文中簡稱為NNP-I，用于處理數據中心的輕量級推理工作負載。這款芯片足夠小，可以安裝在標準的M.2設備上，然后插入主板上的標準M.2端口，從而將Xeon服務器從推理密集型工作負載中解放出來，將更大的芯片釋放出來用于一般計算任務。用于訓練的神經網絡處理器 (NPP-T)作為英特爾的Nervana解決方案用于訓練工作負載，但這兩種設備的底層架構有很大的不同。

英特爾修改了10nm Ice Lake處理器，去掉了兩個計算核心和圖形引擎，以適應12個推理計算引擎(ICE)。ICE加速器具有基于硬件的單元間同步，與兩個IA核共享一個連貫的結構和24MB的L3緩存，這兩個IA核具有Sunny Cove微架構。

IA核心是標準的Ice Lake核心，支持AVX-512和VNNI指令，可加速卷積神經網絡，而一個完全集成的電壓調節模塊(FIVR)動態地向組件供電，將更多的功率預算分配給最活躍的on-die單元。該芯片配備了兩個LPDDR4X內存控制器，連接到封裝內存，你可以將其視為M.2 PCB左下方的單個組件。控制器提供高達4.2 GT/s (68 GB/s)的吞吐量，并支持 in-band ECC。

英特爾尚未透露LPDDR4的容量，也沒有透露有關M.2設備的其他細節。我們知道英特爾將這個軟件包安裝在不同形式的插入卡上，比如上面的M.2版本，它可以插入服務器主板上的標準M.2端口，或者插入標準的PCIe插槽的更大的附加卡。與谷歌的TPU等為人AI設計的定制芯片不同，這款設備基本上與所有現有的現代服務器硬件兼容。這種方法也是可擴展的：你可以根據需要向服務器添加盡可能多的NNP-I，特別是對于包含多個M.2端口的PCIe提升板。

該設備通過PCIe 3.0 x4或x8接口與主機通信，但不使用NVMe協議。相反，它作為一個標準的PCIe設備運行。英特爾將提供一種軟件，可以將推理“作業”完全編排到加速器上，當工作完成時，該軟件將通知Xeon CPU。卸載消除了Xeon與其他類型的加速器在PCIe總線上的來回通信，這對CPU來說是一種負擔，因為它會生成中斷并需要數據移動。相反，NNP-I是一個獨立的系統，具有自己的I/O調節(PCH)，允許它訪問處理所需的數據。

該設備可以支持從10W到50W的不同功率范圍，這對性能有影響。M.2接口的15W限制阻礙了插入標準M.2插座的設備的功率傳輸，但NNP-I在更大的外接卡中可以在最高TDP額定值下運行，這意味著它們提供了更好的性能。在INT8操作中，TOP/s的范圍從48到92。根據配置的TDP，芯片的效率為每瓦特2~4.8 TOP/s，但該指標不包括總包功率。

推理計算引擎內部

深入研究ICE引擎可以發現，每個ICE單元都有額外的4MB SRAM，有助于減少芯內數據移動，這在功耗和時間方面總是比實際的計算操作更昂貴。深度學習計算網格(DL Compute Grid)是一個張量引擎，通過數據和控制結構連接到SRAM和VP6 DSP。DSP引擎可以用于沒有專門針對固定功能DL計算網格進行優化的算法。此外，其他代碼可以在Ice Lake核心上使用VNNI運行，使多個模型可以同時在設備上運行，也為快速移動的AI空間提供了一些必需的前向兼容性。

DL Compute Grid支持FP16和INT8，但也支持INT4、2和1，以支持未來可能對AI算法進行的調整。令人驚訝的是，它不支持bfloat16。通過調整工作負載在ICE單元之間的分布方式，可以優化fabric的帶寬或延遲，如下表所示。

這里我們可以看到DL Compute Grid的特寫視圖，它被設計得很靈活，以最大化其4D并行計算能力，以及用于矢量處理的Tensilicon Vision P6 DSP。Tensilica DSP引擎是一個廣泛的VLIW機器，支持INT8, 16, 32，和FP16。該引擎是完全可編程的，并具有一個雙向管道和DL Compute Grid，可在兩個硬件同步單元之間快速傳輸數據。。

芯片的內存子系統

回到內存子系統，可以看到每個計算單元中所做的設計決策背后的許多合理化。這里我們可以看到硬件控制的L3緩存被分成8個3MB的片段，在AI核心和ICE單元之間共享。該設計經過優化，使數據盡可能接近計算引擎，并具有四個不同的層。

圖表左側的一系列blocks量化了通過內存結構的每一層移動數據的延遲。從DRAM到DLCompute Grid的數據傳輸被設置為基線，我們可以看到分層結構中的每一層將數據傳輸的engine的速度是多么快。從L3緩存訪問比DRAM快10倍，而存儲在DL Compute Grid中的數據比DRAM快1000倍。

總之，分層設計允許Xeon向設備卸載幾種不同類型的神經網絡，每一層都支持一定的精度。請注意，上面的金字塔是根據每瓦特的性能排列的。

英特爾與ResNet50共享性能數據，運行速度為每秒3600 次推理，芯片設置為10W TDP。這相當于每瓦特4.8 TOP/s的效率測量，符合公司的設計目標。值得注意的是，芯片在較低的TDP范圍內效率更高，因此在較高的性能設置下效率可能會有所不同。這些數字也只適用于ASIC，不包括整個M.2設備的功耗。英特爾表示，未來將分享更多的性能數據。

英特爾提供了一個編譯器，可以為NNP-I的加速器定制代碼，并正在與Facebook合作，以確保Glo編譯器也支持NNP-I的加速器。Facebook是英特爾在開發期間的“定義”合作伙伴。該設備還支持所有標準框架，如PyTorch和TensorFlow等，幾乎沒有任何更改。英特爾堅持認為，任何能夠使用Xeons進行推理的人都可以使用NNP-I。

在數據中心，推理應用遠比訓練普遍，價格合理的低功耗設備將集體銷售給超大規模和云服務提供商（CSP），意思是這可以成為英特爾的一個利潤豐厚的細分市場。該公司本身并沒有打算將這些設備推向零售市場，但確實希望CSP在未來通過基于云的實例來公開它們。

英特爾已經研發了兩代NNP-I。該公司將在今年年底前開始批量生產，NNP-I已經開始提供樣品。