今天OpenAI更新了AI計(jì)算量報(bào)告，分析了自2012年以來(lái)AI算法消耗算力的情況。

根據(jù)對(duì)實(shí)際數(shù)據(jù)的擬合，OpenAI得出結(jié)論：AI計(jì)算量每年增長(zhǎng)10倍。從AlexNet到AlphaGo Zero，最先進(jìn)AI模型對(duì)計(jì)算量的需求已經(jīng)增長(zhǎng)了30萬(wàn)倍。

英偉達(dá)的黃仁勛一直在強(qiáng)調(diào)摩爾定律已死，就是沒(méi)死也頂不住如此爆炸式的算力需求啊。

至于為何發(fā)布AI計(jì)算量報(bào)告？OpenAI說(shuō)，是為了用計(jì)算量這種可以簡(jiǎn)單量化的指標(biāo)來(lái)衡量AI的發(fā)展進(jìn)程，另外兩個(gè)因素算法創(chuàng)新和數(shù)據(jù)難以估計(jì)。

每年增長(zhǎng)10倍

OpenAI根據(jù)這些年的實(shí)際數(shù)據(jù)進(jìn)行擬合，發(fā)現(xiàn)最先進(jìn)AI模型的計(jì)算量每3.4個(gè)月翻一番，也就是每年增長(zhǎng)10倍，比摩爾定律2年增長(zhǎng)一倍快得多。

上圖中的縱坐標(biāo)單位是PetaFLOPS×天（以下簡(jiǎn)寫(xiě)為pfs-day），一個(gè)pfs-day是以每秒執(zhí)行1015次浮點(diǎn)運(yùn)算的速度計(jì)算一天，或者說(shuō)總共執(zhí)行大約1020次浮點(diǎn)運(yùn)算。

需要注意的是，上圖使用的是對(duì)數(shù)坐標(biāo)，因此AlphaGoZero比AlexNet的運(yùn)算量多了5個(gè)數(shù)量級(jí)。

從2012年至今，按照摩爾定律，芯片算力只增長(zhǎng)了7倍，而在這7年間AI對(duì)算力的需求增長(zhǎng)了30萬(wàn)倍。硬件廠商是否感覺(jué)壓力山大？

OpenAI還分析了更早期的數(shù)據(jù)，從第一個(gè)神經(jīng)網(wǎng)絡(luò)感知器（perceptron）誕生到2012年AI技術(shù)爆發(fā)前夕的狀況。

在之前的幾十年中，AI計(jì)算量的增長(zhǎng)速度基本和摩爾定律是同步的，2012年成為AI兩個(gè)時(shí)期的分水嶺。

（注：OpenAI原報(bào)告引用18個(gè)月作為摩爾定律的翻倍時(shí)間，之后修正為2年。）

AI硬件的4個(gè)時(shí)代

對(duì)算力的爆炸式需求也催生了專門用于AI運(yùn)算的硬件，從1959年至今，AI硬件經(jīng)歷了4個(gè)不同的時(shí)期。

2012年之前：使用GPU進(jìn)行機(jī)器學(xué)習(xí)運(yùn)算并不常見(jiàn)，因此這部分的數(shù)據(jù)比較難準(zhǔn)確估計(jì)。

2012年至2014年：在多個(gè)GPU上進(jìn)行訓(xùn)練的設(shè)備并不常見(jiàn)，大多數(shù)使用算力為1~2 TFLOPS的1到8個(gè)GPU，計(jì)算量為0.001~0.1 pfs-day。

2014年至2016年：開(kāi)始大規(guī)模使用10~100個(gè)GPU（每個(gè)5~10 TFLOPS）進(jìn)行訓(xùn)練，總計(jì)算量為0.1-10 pfs-day。數(shù)據(jù)并行的邊際效益遞減，讓更大的訓(xùn)練量受到限制。

2016年至2017年：更大的算法并行性（更大的batch size、架構(gòu)搜索和專家迭代）以及專用硬件（TPU和更快的連接），極大地放寬了并行計(jì)算的限制。

未來(lái)還會(huì)高速增長(zhǎng)嗎？

OpenAI認(rèn)為，我們有很多理由相信，AI計(jì)算量快速增長(zhǎng)的需求還會(huì)繼續(xù)保持下去。但是我們不必太過(guò)擔(dān)心算力不夠。

首先，越來(lái)越多的公司開(kāi)發(fā)AI專用芯片，這些芯片會(huì)在一兩年內(nèi)大幅提高單位功率或單位價(jià)格的算力（FLOPS/W或FLOPS/$）。另一方面并行計(jì)算也會(huì)成為主流，沒(méi)有太強(qiáng)的芯片還可以堆數(shù)量。

其次，并行計(jì)算也是解決大規(guī)模運(yùn)算的一個(gè)有效方法，未來(lái)也會(huì)有并行算法創(chuàng)新，比如體系結(jié)構(gòu)搜索和大規(guī)模并行SGD等。

但是，物理規(guī)律限制芯片效率，成本將限制并行計(jì)算。

如今訓(xùn)練一個(gè)最大模型需要的硬件購(gòu)置成本高達(dá)幾百萬(wàn)美元，不是每個(gè)企業(yè)都可以像英偉達(dá)那樣，用512個(gè)V100花費(fèi)10天訓(xùn)練一個(gè)模型的。