采用人工智能 （AI） 應(yīng)用程序的曲棍球棒正在順利進(jìn)行，包括 CPU、GPU、FPGA 和神經(jīng)網(wǎng)絡(luò)處理器在內(nèi)的定制架構(gòu)正在云中占據(jù)一席之地。人工智能大規(guī)模并行架構(gòu)的弱點(diǎn)之一是對(duì)電源故障時(shí)數(shù)據(jù)丟失的敏感性，導(dǎo)致這些數(shù)據(jù)中心的成本很高。內(nèi)存類(lèi)存儲(chǔ)架構(gòu)為 AI 應(yīng)用程序提供高性能、持久的內(nèi)存，使數(shù)據(jù)中心的正常運(yùn)行時(shí)間、更低的功耗和更高的利潤(rùn)達(dá)到新的水平。

人工智能 （AI） 和深度學(xué)習(xí)算法的迅速普及正在改變現(xiàn)代數(shù)據(jù)中心的格局。隨著云成為信息的通用資源，包括語(yǔ)音識(shí)別、增強(qiáng)現(xiàn)實(shí)、醫(yī)學(xué)數(shù)據(jù)挖掘和成千上萬(wàn)的其他應(yīng)用程序正在捕獲越來(lái)越多的數(shù)據(jù)周期。我在這里使用的簡(jiǎn)單術(shù)語(yǔ) AI 意味著許多類(lèi)型的應(yīng)用程序的集合，其中一些具有截然不同的技術(shù)要求。

云也是大多數(shù)企業(yè)的主要收入來(lái)源，正常運(yùn)行時(shí)間已成為一項(xiàng)主要要求。系統(tǒng)停機(jī)造成的損失平均為每分鐘 22，000 美元，每年平均 14.1 小時(shí)的停機(jī)時(shí)間使平均每年損失 1800 萬(wàn)美元。完全依賴(lài)互聯(lián)網(wǎng)的公司很容易看到間接費(fèi)用的倍數(shù)。

顯然，如果解決方案能夠最大限度地減少停機(jī)時(shí)間并加快從電源故障中恢復(fù)的速度，那么投資回報(bào)就會(huì)很快。將內(nèi)存類(lèi)存儲(chǔ)（以下定義的術(shù)語(yǔ)）引入數(shù)據(jù)中心，尤其是 AI 處理器子系統(tǒng)是提高數(shù)據(jù)中心價(jià)值的關(guān)鍵性能增強(qiáng)。

常見(jiàn)的人工智能應(yīng)用

人工智能并不新鮮，盡管大規(guī)模部署人工智能是最近的趨勢(shì)。人工智能處理中心沒(méi)有單一的架構(gòu)，但是在人工智能的部署中出現(xiàn)了一些共同的趨勢(shì)。一般來(lái)說(shuō)，人工智能使用大量相對(duì)簡(jiǎn)單的處理單元在非常廣泛的數(shù)據(jù)集上并行運(yùn)行，每個(gè)處理單元都在數(shù)據(jù)的一個(gè)子集上運(yùn)行。

為了幫助可視化這是如何工作的，想象一個(gè) JPEG 圖片處理算法，它有一個(gè)小型處理單元，為 8x8 像素陣列運(yùn)行離散余弦變換算法 （DCT）。由于典型的原始圖片遠(yuǎn)大于 8x8 像素，因此 AI 引擎可以包括許多并行運(yùn)行的處理單元，每個(gè)處理單元運(yùn)行相同的 DCT 算法，然后有一個(gè)主控制器將整體圖片的 8x8 部分提供給處理單元。主控制器將來(lái)自每個(gè)處理單元的結(jié)果反饋到結(jié)果的輸出緩存中，例如編碼的 JPEG 文件的數(shù)據(jù)。

這些并行處理元素還可以選擇在它們之間共享數(shù)據(jù)，例如管理相鄰輸入數(shù)據(jù)塊之間的邊緣。該解決方案的一種方法是遞歸神經(jīng)網(wǎng)絡(luò) （RNN），如圖 1 所示。

［圖1 | 遞歸神經(jīng)網(wǎng)絡(luò)處理］

將 AI 的使用與功耗成本聯(lián)系起來(lái)，上面的簡(jiǎn)單 RNN 應(yīng)用程序顯示了當(dāng)黃色輸入數(shù)據(jù)和橙色輸出數(shù)據(jù)存儲(chǔ)在動(dòng)態(tài)內(nèi)存中時(shí)的固有開(kāi)銷(xiāo)。在數(shù)據(jù)丟失時(shí)，必須重新加載輸入數(shù)據(jù)并重新運(yùn)行 RNN 算法以恢復(fù)輸出數(shù)據(jù)。

深度學(xué)習(xí)是 AI 的另一種變體，它對(duì)數(shù)據(jù)吞吐量表現(xiàn)出更高的敏感性。深度學(xué)習(xí)算法將種子模式加載到 AI 內(nèi)存中，該模式表示對(duì)預(yù)期可能答案的預(yù)先計(jì)算估計(jì)。深度學(xué)習(xí)的示例包括語(yǔ)音識(shí)別，其中種子數(shù)據(jù)可能代表通用語(yǔ)音模式。但是，一旦輸入數(shù)據(jù)開(kāi)始流過(guò)處理單元，深度學(xué)習(xí)就可以修改種子模式。對(duì)于語(yǔ)音識(shí)別，這可能包括針對(duì)特定用戶(hù)的口音調(diào)整識(shí)別引擎。深度卷積網(wǎng)絡(luò)是一種添加識(shí)別、上下文和修改種子以提高算法質(zhì)量和準(zhǔn)確性的機(jī)制。

【圖2 | 深度卷積網(wǎng)絡(luò)處理］

深度學(xué)習(xí)算法面臨的一個(gè)挑戰(zhàn)是避免重新訓(xùn)練。想象一下每次將語(yǔ)音識(shí)別設(shè)備移到不同房間時(shí)都必須重新訓(xùn)練語(yǔ)音識(shí)別設(shè)備的客戶(hù)的反應(yīng)。對(duì)于深度學(xué)習(xí)，修改后的種子模型需要定期檢查點(diǎn)，以便在斷電后可以恢復(fù)學(xué)習(xí)到的數(shù)據(jù)。在圖 2 中，綠色圓圈代表這些模型，如果這些數(shù)據(jù)丟失，則必須重新學(xué)習(xí)對(duì)模型的任何更新。粉紅色雙圓圈中的池化層還包含加速處理的信息，必須保存或重建。

常見(jiàn)的 AI 架構(gòu)

如前所述，業(yè)界在人工智能架構(gòu)的硬件實(shí)現(xiàn)方面存在趨勢(shì)。這些趨勢(shì)是：1） 將大量數(shù)據(jù)饋送到廣泛的處理元件陣列中，2） 每個(gè)處理器在相對(duì)簡(jiǎn)單的算法上運(yùn)行，以 3） 產(chǎn)生輸出數(shù)據(jù)，該輸出數(shù)據(jù)被重新組合成所需的結(jié)果。4）對(duì)于深度學(xué)習(xí)，這些中間結(jié)果可以修改需要定期提取的初始輸入數(shù)據(jù)集。

【圖3 | 示例 AI 處理器］

圖 3 顯示了一個(gè)相當(dāng)?shù)湫偷?AI 設(shè)備，其中 15 個(gè)處理元件的陣列通過(guò)內(nèi)部存儲(chǔ)器交叉開(kāi)關(guān)連接到使用高帶寬存儲(chǔ)器的大型數(shù)據(jù)資源（例如，32 GB）。HBM 提供一個(gè) 1024 位寬的接口，每個(gè)數(shù)據(jù)引腳以 2.4 Gbps 的速度運(yùn)行，并且通過(guò)四個(gè)內(nèi)部 HBM 總線，可以以大約 1.2 TB/s 的組合吞吐量為處理元件提供數(shù)據(jù)。

此外，每個(gè) AI 設(shè)備都提供多個(gè)高速串行 I/O 接口（例如 1 Tbps），以將架構(gòu)擴(kuò)展到大量處理器。這些串行總線以某種特定于應(yīng)用程序的模式互連，通常是超立方體或環(huán)形排列，因此數(shù)據(jù)可以通過(guò)陣列分布，以供許多 AI 設(shè)備并行處理。圖 4 是通過(guò)陣列路由數(shù)據(jù)的環(huán)形連接方案示例。

【圖4 | 多個(gè)AI設(shè)備的環(huán)形連接］

在 1 Tbps 時(shí)，這些串行鏈路相當(dāng)快，但鏈路的數(shù)量仍然有限，并且數(shù)據(jù)必須通過(guò)陣列進(jìn)行幾跳才能到達(dá)目的地。即使在相當(dāng)高的總線效率下，填充每個(gè) AI 設(shè)備的 HBM 內(nèi)容也可能需要幾秒鐘的時(shí)間。一種解決方案是增加來(lái)自支持硬件的串行輸入饋送數(shù)量，但在 26 GB/s 的完整 DDR4 接口下，需要四個(gè) DDR4 通道來(lái)饋送一個(gè)輸入管道，因此外部支持硬件很快成為瓶頸。

檢查點(diǎn)在深度學(xué)習(xí)應(yīng)用程序中修改模型的內(nèi)容也發(fā)生在這些串行總線上。每個(gè) AI 設(shè)備都需要將其內(nèi)容傳達(dá)給支持硬件，以承諾使用非易失性資源，通常是 NVMe 或 SSD 單元。這種檢查點(diǎn)會(huì)消耗通信鏈路上寶貴的帶寬，這些時(shí)間可以更好地用于數(shù)據(jù)處理。

停電的代價(jià)

串行鏈路造成的瓶頸突出了電源故障所面臨的問(wèn)題。一旦模型丟失，重新填充大量 AI 設(shè)備可能需要很長(zhǎng)時(shí)間。將應(yīng)用程序重新加載到執(zhí)行單元中也需要時(shí)間，然后重新啟動(dòng)算法并恢復(fù)正在進(jìn)行的丟失工作也可能需要大量時(shí)間。同時(shí)，系統(tǒng)無(wú)法進(jìn)行終端用戶(hù)數(shù)據(jù)處理。

對(duì)于深度學(xué)習(xí)環(huán)境，數(shù)據(jù)丟失可能是不可接受的，因此必須建立復(fù)雜的機(jī)制來(lái)定期檢查種子數(shù)據(jù)模型的學(xué)習(xí)修改。

根據(jù)系統(tǒng)架構(gòu)，重新加載的速度將受到非易失性存儲(chǔ)接口的限制。即使使用 10 GB/s NVMe 備份，大型 AI 陣列的恢復(fù)也可能需要幾分鐘時(shí)間。如果這個(gè)瓶頸定義了保存的深度學(xué)習(xí)模型的粒度，則可以確保永久丟失數(shù)據(jù)的可能性。為了避免這種數(shù)據(jù)丟失，通常會(huì)部署不間斷的備份系統(tǒng)，但是這些架構(gòu)的電源要求往往相當(dāng)高，而且 UPS 相對(duì)昂貴。

AI中的內(nèi)存類(lèi)存儲(chǔ)

Nantero NRAM 是一種非易失性存儲(chǔ)器技術(shù)，可在全 DRAM 速度下運(yùn)行并具有無(wú)限的寫(xiě)入耐久性，因此稱(chēng)為 Memory Class Storage。NRAM 使用靜電力來(lái)切換碳納米管陣列以存儲(chǔ) 1 和 0。NRAM 與 HBM 接口相結(jié)合，為 AI 架構(gòu)的電源故障敏感性問(wèn)題提供了很好的解決方案。

NRAM HBM 完全像 DRAM HBM 一樣放入 AI 設(shè)備。它使用相同的信號(hào)和時(shí)序，使集成異常簡(jiǎn)單。與存儲(chǔ)類(lèi)內(nèi)存相比，存儲(chǔ)類(lèi)內(nèi)存比 DRAM 慢得多，耐用性非常有限，因此仍需要支持 DRAM 才能實(shí)現(xiàn)所需的性能，NRAM 完全取代了 AI 設(shè)備中的所有 DRAM，無(wú)需額外支持。由于 NRAM 本質(zhì)上是非易失性的，因此 AI 控制器還可以利用其獨(dú)特的功能，例如關(guān)閉刷新并在相同的時(shí)鐘頻率下獲得額外 15% 的性能。

【圖5 | HBM NRAM 架構(gòu)］

停電時(shí)，系統(tǒng)會(huì)向所有 AI 設(shè)備發(fā)送一個(gè)信號(hào)，警告即將停電。每個(gè) AI 設(shè)備的響應(yīng)方式是完成進(jìn)程中的計(jì)算并將結(jié)果存儲(chǔ)到非易失性 NRAM 中，然后關(guān)閉。當(dāng)電源恢復(fù)時(shí)，執(zhí)行單元代碼從 NRAM 恢復(fù)到每個(gè)執(zhí)行單元所附的本地內(nèi)存（如 SRAM），恢復(fù)臨時(shí)結(jié)果，并在微秒而不是分鐘內(nèi)恢復(fù)執(zhí)行。

由于數(shù)據(jù)永遠(yuǎn)不會(huì)丟失，并且不需要外部串行鏈路，也不需要 NVMe 或 SSD 等外部備份機(jī)制，因此將 NRAM HBM 并入 AI 架構(gòu)無(wú)需昂貴的電池備份系統(tǒng)。

結(jié)論

總之，使用 NRAM HBM 重新構(gòu)想了人工智能和深度學(xué)習(xí)應(yīng)用的計(jì)算基礎(chǔ)設(shè)施。通過(guò)始終提供固有的數(shù)據(jù)持久性，AI 服務(wù)器無(wú)需承受與重新加載模型和其他數(shù)據(jù)相關(guān)的長(zhǎng)時(shí)間延遲。修改后的模型數(shù)據(jù)的檢查點(diǎn)是自動(dòng)的，并且不會(huì)消耗處理元件和支持計(jì)算系統(tǒng)之間的互連上的帶寬。

將 NRAM HBM 整合到 AI 架構(gòu)中，消除了電池備份系統(tǒng)的成本、復(fù)雜性和可靠性問(wèn)題，并降低了數(shù)據(jù)中心的功耗，同時(shí)提高了性能。備份和恢復(fù)過(guò)程主要變成 NOP……只需重新啟動(dòng)即可！

審核編輯：郭婷