前 言

為什么芯片設計需要很長時間？能不能加速芯片設計周期？能否在幾天或幾周之內完成芯片的設計？這是一個非常有野心的目標。過去十年，機器學習的發展離不開系統和硬件的進步，現在機器學習正在促使系統和硬件發生變革。

Google在這個領域已率先出發。在第58屆DAC大會上，Google AI負責人Jeff Dean分享了《機器學習在硬件設計中的潛力》，他介紹了神經網絡發展的黃金十年，機器學習如何影響計算機硬件設計以及如何通過機器學習解決硬件設計中的難題，并展望了硬件設計的發展方向。

他的演講重點在于Google如何使用機器學習優化芯片設計流程，這主要包括架構搜索和RTL綜合、驗證、布局與布線（Placement and routing）三大階段。在架構搜索階段，Google提出了FAST架構自動優化硬件加速器的設計，而在驗證階段，他們認為使用深度表示學習可提升驗證效率，在布局與布線階段，則主要采用了強化學習技術進行優化。

以下是他的演講內容：

1

神經網絡的黃金十年

制造出像人一樣智能的計算機一直是人工智能研究人員的夢想。而機器學習是人工智能研究的一個子集，它正在取得很多進步。現在大家普遍認為，通過編程讓計算機變得“聰明”到能觀察世界并理解其含義，比直接將大量知識手動編碼到人工智能系統中更容易。

神經網絡技術是一種非常重要的機器學習技術。神經網絡一詞出現于1980年代左右，是計算機科學術語中一個相當古老的概念。雖然它當時并沒有真正產生巨大的影響，但有些人堅信這是正確的抽象。

本科時，我寫了一篇關于神經網絡并行訓練的論文，我認為如果可以使用64個處理器而不是一個處理器來訓練神經網絡，那就太棒了。然而事實證明，我們需要大約100萬倍的算力才能讓它真正做好工作。

2009年前后，神經網絡技術逐漸火熱起來，因為我們開始有了足夠的算力讓它變得有效，以解決現實世界的問題以及我們不知道如何解決的其他問題。2010年代至今是機器學習取得顯著進步的十年。

是什么導致了神經網絡技術的變革？我們現在正在做的很多工作與1980年代的通用算法差不多，但我們擁有越來越多的新模型、新優化方法等，因此可以更好地工作，并且我們有更多的算力，可以在更多數據上訓練這些模型，支撐我們使用更大型的模型來更好地解決問題。

在探討設計自動化方面之前，我們先來看看一些真實世界的例子。首先是語音識別。在使用深度學習方法之前，語音識別很難得到實際應用。但隨后，使用機器學習和神經網絡技術，大幅降低了詞語的識別錯誤率。

幾年后，我們將錯誤率降低到5%左右，讓語音識別更加實用，而現在，在不聯網的設備里，我們都可以做到僅僅4%左右的錯誤率。這樣的模型被部署在人們的手機里面，隨時隨地幫助人們識別自己的語音。

計算機視覺方面也取得了巨大的進步。2012年左右，Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton在ImageNet比賽中首次使用了AlexNet，錯誤率得到顯著降低，并在當年奪得桂冠。

后一年的ImageNet比賽中，幾乎所有參賽者都使用深度學習方法，研究人員則進一步放棄了傳統的方法。其中，2015年，由何愷明等微軟研究人員提出ResNet更進一步降低了錯誤率。

當時的斯坦福大學研究生Andrej Karpathy正在幫助運營ImageNet比賽，他想知道如果人工識別這項艱難的任務，錯誤率會是多少。在上千個類別中有40種狗，你必須能夠看著一張照片說：“哦，那是一只羅威納犬，不是一只大力金剛犬，或者其他品種的狗。” 經過一百個小時的訓練，他將錯誤率降到了5%。

這是一項非常艱難的任務，將計算機識別錯誤率從2011年的26%降低到2017年的2%是一件很了不起的事，過去計算機無法識別的東西，現在已經可以識別。自然語言處理、機器翻譯和語言理解中也經歷了類似的故事。

此外，開源框架確實使世界各地的許多人能夠應用機器學習技術，TensorFlow就是其中之一。

大約在2015年11月，我們開源了TensorFlow以及供Google內部使用的工具。TensorFlow對世界產生了相當大的影響，它已經被下載了大約5000萬次，當然也出現了很多其他框架，比如JAX、PyTorch等等。

世界各地的人們能夠將機器學習用于各種了不起的用途，例如醫療保健、機器人技術、自動駕駛等等，這些領域都是通過機器學習方法來理解周圍的世界，進而推動領域的發展。

2

機器學習改變計算機設計方式

ML研究社區中的許多成功源自使用更多算力和更大的模型，更多的算力促進了機器學習研究領域中重要成果的產生。深度學習的發展正在深刻改變計算機的結構。現在，我們想圍繞機器學習計算類型構建專門的計算機。

近年來，我們已經在Google做了很多類似的工作，其中TPU（張量處理單元）是我們構建定制處理器的一種方法，這些處理器專為神經網絡和機器學習模型而設計。

TPU v1是我們第一個針對推理的產品，當你擁有經過訓練的模型，并且只想獲得已投入生產使用的模型的預測結果，那它就很適合，它已經被用于神經機器翻譯的搜索查詢、AlphaGo比賽等應用中。

后來我們還構建了一系列處理器。TPU v2旨在連接在一起形成稱為Pod的強大配置，因此其中的256個加速器芯片通過高速互聯緊緊連接在一起。TPU v3則增加了水冷裝置。

TPU v4 Pod不僅可以達到ExaFLOP級的算力，它還讓我們能夠在更大的模型訓練中達到SOTA效果，并嘗試做更多的事情。

以ResNet-50模型為例，在8塊P100 GPU上訓練完ResNet-50需要29小時，而在2021年6月的MLPerf競賽中，TPU v4 pod僅耗時14秒就完成了訓練。但我們的目的不僅僅是在14秒內訓練完ResNet，而是想把這種強大的算力用于訓練其他更先進的模型。

可以看到，從一開始的29小時到后來的14秒，模型的訓練速度提高了7500倍。我認為實現快速迭代對于機器學習非常重要，這樣才能方便研究者試驗不同想法。

基于機器學習的計算方式越來越重要，計算機也正在往更適應機器學習計算方式的方向上演進。但深度學習有可能影響計算機的設計方式嗎？我認為，答案是肯定的。

3

機器學習縮短芯片設計周期

目前，芯片的設計周期非常長，需要幾十甚至幾百人的專業團隊花費數年的努力。從構思到完成設計，再到成功生產，中間的時間間隔十分漫長。但如果將來設計芯片只需要幾個人花費幾周時間呢？這是一個非常理想的愿景，也是研發人員當前的目標。

如上圖所示，芯片設計包含四個階段：架構探索→RTL綜合→驗證→布局和布線。完成設計之后，在制作生產環節需要進行布局和布線（Placement & Routing），有沒有更快、更高質量的布局和布線方法？驗證是非常耗時的一步，能不能用更少的測試次數涵蓋更多的測試項目？有沒有自動進行架構探索和RTL綜合的方法？目前，我們的芯片架構探索只針對幾種重要的應用，但我們終將要把目光擴大。

布局與布線

首先，關于布局和布線，Google在2020年4月發表過一篇論文Chip Placement with Deep Reinforcement Learning，2021年6月又在Nature上發表了A graph placement methodology for fast chip design。

我們知道強化學習的大致原理：機器執行某些決定，然后接收獎勵（reward）信號，了解這些決定帶來什么結果，再據此調整下一步決定。

因此，強化學習非常適合棋類游戲，比如國際象棋和圍棋。棋類游戲有明確的輸贏結果，機器下一盤棋，總共有50到100次走棋，機器可以根據最終的輸贏結果評定自己和對手的整套走棋方法的有效性，從而不斷調整自己的走棋，提高下棋水平。

那么ASIC芯片布局這項任務能不能也由強化學習智能體來完成呢？

這個問題有三個難點。第一，芯片布局比圍棋復雜得多，圍棋有10^{360}種可能情況，芯片布局卻有10^{9000}種。

第二，圍棋只有“贏”這一個目標，但芯片布局有多個目標，需要權衡芯片面積、時序、擁塞、設計規則等問題，以找到最佳方案。

第三，使用真實獎勵函數（true reward function）來評估效果的成本非常高。當智能體執行了某種芯片布局方案后，就需要判斷這個方案好不好。如果使用EDA工具，每次迭代都要花上很多個小時，我們希望將每次迭代所需時間縮減為50微秒或50毫秒。

利用強化學習進行芯片布局的步驟如下：首先從空白底座開始，運用分布式PPO算法（強化學習的常用算法）進行設計，然后完成每個節點的布局放置，最后進行評估。

評估步驟使用的是代理獎勵函數（proxy reward function），效果和真實獎勵函數相近，但成本低得多。在一秒或半秒內就可以完成對本次布局方案的評估，然后指出可優化之處。

構建獎勵函數需要結合多個不同的目標函數，例如線長、擁塞和密度，并分別為這些目標函數設定權重。

如上圖所示，布局優化采取的是混合方式。強化學習智能體每次放置宏（macro），然后通過力導向方法（force-directed method）放置標準單元。

上圖來自前面提到的Nature論文，展示了更多芯片架構的細節。

上圖展示了一個TPU設計塊的布局與布線結果。白色區域是宏，綠色區域是標準單元群（standard cell clusters）。

圖中左邊是人類專家完成的設計，從中可以看出一些規律。人類專家傾向于把宏沿邊緣放置，把標準單元放在中間。一名人類專家需要6~8周完成這個布局，線長為57.07米。圖中右邊是由智能體（ML placer）完成的布局，耗時24小時，線長55.42米，違反設計規則的地方比人類專家略多，但幾乎可以忽略。