英偉達(dá)詳細(xì)介紹了一種微型測試芯片，可以獨(dú)立完成底層工作；但當(dāng)36個(gè)芯片團(tuán)結(jié)起來時(shí)，性能可以提升32倍。與使用相同精度的先前原型相比，單個(gè)芯片的面積效率至少為16倍，能量效率為1.7倍。

如何確保在大型和小型任務(wù)之間切換，而不至于犧牲效率呢？顯然把單個(gè)的、實(shí)驗(yàn)性的加速器芯片，變成可以隨意組合的模塊化形式，是一個(gè)具備可行性的解決方案，這也是英偉達(dá)在做的事情。

作為GPU動(dòng)力工廠，英偉達(dá)當(dāng)然希望能夠?yàn)楦鞣N規(guī)模的AI任務(wù)提供解決方案：從大規(guī)模的數(shù)據(jù)中心任務(wù)、到始終在線的低功耗神經(jīng)網(wǎng)絡(luò)（這些網(wǎng)絡(luò)需要監(jiān)聽語音助理接收到的喚醒詞）。

這不是個(gè)簡單的任務(wù)，通常來說需要將幾種不同的技術(shù)混合使用。可是，這樣的方式顯然不如只部署一種好。

英偉達(dá)一直在尋求“one ring to rule them all”的解決方案：是否可以構(gòu)建一些可擴(kuò)展的模塊化產(chǎn)品，同時(shí)在整個(gè)環(huán)節(jié)中又不過多浪費(fèi)每個(gè)瓦特的效率呢？其首席科學(xué)家Bill Dally說，英偉達(dá)最終找出了答案。答案是肯定的。

上個(gè)月舉行的VLSI研討會上，英偉達(dá)詳細(xì)介紹了一款小巧的測試芯片，它可以獨(dú)立完成底層的工作，也可以在一個(gè)模塊中與多達(dá)36個(gè)同類型芯片緊密聯(lián)系，進(jìn)行深度學(xué)習(xí)一類的重任務(wù)，而且每個(gè)芯片都實(shí)現(xiàn)了大致相同的頂級性能。

單個(gè)加速器芯片更多的是被設(shè)計(jì)成為深度學(xué)習(xí)的執(zhí)行方，而不是訓(xùn)練方。工程師測量這種“推理”芯片的性能的方式，通常是根據(jù)每焦耳能量或毫米面積可以進(jìn)行多少次操作。

英偉達(dá)原型芯片中，一個(gè)峰值可達(dá)到每秒4.01 Tera次操作（相當(dāng)于每秒10000億次）和每毫米1.29 TOPS。

和其他組中使用相同精度的先前原型比，該單芯片的面積效率至少是這些原型的16倍，能量效率至少達(dá)到1.7倍。

而當(dāng)36個(gè)芯片連接成為一個(gè)芯片系統(tǒng)后，它達(dá)到了127.8 TOPS，相當(dāng)于性能提升了32倍！

通過這項(xiàng)研究，英偉達(dá)試圖證明，只用一種技術(shù)應(yīng)對所有場景是可能的、也是可行的。或者，起碼當(dāng)這些芯片和多芯片模塊中英偉達(dá)的網(wǎng)狀網(wǎng)絡(luò)連接在一起的時(shí)候，可以做得到。

這些模塊基本上是小型印刷電路板或硅片，它們也可以作為一個(gè)大型IC處理多個(gè)芯片。這種形式正變得越來越流行，因?yàn)榭梢詫讉€(gè)較小芯片隨意組成系統(tǒng)（通常稱為小芯片，相對單一的更大、更昂貴的大芯片而言）。下圖是多芯片模塊的圖例：

Dally解釋道：“多芯片模塊的形式具有很多優(yōu)勢。不僅適用于未來可擴(kuò)展的（深度學(xué)習(xí)）加速器，還適用于構(gòu)建具有不同功能的加速器的產(chǎn)品版本。”

英偉達(dá)多芯片模塊之所以能夠?qū)⑿碌纳疃葘W(xué)習(xí)芯片綁定在一起，關(guān)鍵是一個(gè)使用了稱為“ground-referenced信號”技術(shù)的芯片間網(wǎng)絡(luò)。

顧名思義，GRS使用導(dǎo)線上的電壓信號和common ground之間的差來傳輸數(shù)據(jù)，同時(shí)避免了該方法的許多已知缺陷。

它可以使用單根線傳輸25GB/秒的數(shù)據(jù)，而大多數(shù)技術(shù)需要一對電線才能達(dá)到同樣的速度。使用單線可以提高每秒毫米邊緣流量的數(shù)據(jù)量，達(dá)到每秒高達(dá)幾TB的數(shù)據(jù)量。更重要的是，GRS的功耗僅為每比特幾皮焦。

不止如此，Dally還表示，他們已經(jīng)完成了一個(gè)版本，使得該芯片的TOPS/W實(shí)現(xiàn)了翻倍。而他的團(tuán)隊(duì)也在不斷推動(dòng)新的加速技術(shù)，希望達(dá)到200 TOP/W的同時(shí)，仍然保持可擴(kuò)展性。