近日，NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛做客知名播客欄目—— “Acquired Podcast” ，在節(jié)目中與主持人 Ben Gilbert 和 David Rosenthal一起回顧了 NVIDIA 從圖形處理器到數(shù)據(jù)中心再到人工智能的發(fā)展歷程，介紹了 NVIDIA 平臺(tái)戰(zhàn)略背后的故事，也總結(jié)了 NVIDIA 的成功之道。

本期節(jié)目將分三期講述，敬請(qǐng)期待后續(xù)精彩內(nèi)容！

NVIDIA 的關(guān)鍵時(shí)刻 —— RIVA128

黃仁勛首先回顧了公司早期發(fā)展面臨的挑戰(zhàn)。其中，談到了一次關(guān)鍵轉(zhuǎn)折 —— RIVA 128，這個(gè)項(xiàng)目重塑了公司的發(fā)展道路。

作為第一家消費(fèi)級(jí) 3D 圖形公司，NVIDIA 在構(gòu)建 RIVA 128 時(shí)面臨了許多挑戰(zhàn)。并且由于涌現(xiàn)了大量的競爭對(duì)手，市場格局發(fā)生了巨大變化。然而，正是這段逆境時(shí)期，促使 NVIDIA 做出了一系列關(guān)鍵戰(zhàn)略決定，而這些決定對(duì) NVIDIA 的未來發(fā)展至關(guān)重要。

當(dāng)時(shí)，NVIDIA 將精力重新集中于構(gòu)建全球第一款加速的 3D 渲染硬件，即 RIVA 128，不遺余力地最大化其功能。包括實(shí)施紋理緩存，推動(dòng)總線和幀緩沖的極限，并使用最快的存儲(chǔ)器創(chuàng)建一個(gè)異常龐大的芯片，確保產(chǎn)品在市場上有足夠的競爭力。

技術(shù)為王，PC 發(fā)展初期的制勝之道

當(dāng)時(shí)的 PC 行業(yè)還處于發(fā)展初期，性能一直是用戶關(guān)注的重點(diǎn)。NVIDIA 觀察到市場上存在一部分潛在的發(fā)燒友用戶，他們渴望擁有支持高速運(yùn)行的產(chǎn)品。如果產(chǎn)品性能一年可提高 10 倍，將會(huì)有眾多的發(fā)燒友愿意購買。事實(shí)證明上述觀察是正確的，PC 行業(yè)確實(shí)存在一個(gè)追求性能的龐大發(fā)燒友市場，他們會(huì)根據(jù)性能而選擇購買產(chǎn)品。因此 NVIDIA 獲得了可持續(xù)發(fā)展技術(shù)的寶貴機(jī)會(huì)，技術(shù)得以不斷改進(jìn)。專注提升技術(shù)的這一決策為 NVIDIA 成功打下了基礎(chǔ)。

此外，黃仁勛還談到了 NVIDIA 選擇使用模擬技術(shù)的決策。當(dāng)時(shí)，在 ICOS 公司即將倒閉之時(shí)，NVIDIA 買下了其全部庫存。對(duì)于當(dāng)時(shí)的 NVIDIA 而言，相較于一般發(fā)布芯片的流程，公司只有僅僅六個(gè)月的時(shí)間，因此沒有試錯(cuò)的機(jī)會(huì)。他們必須要發(fā)布一款完美的芯片。當(dāng)被問到如何能確定是一款完美的芯片時(shí)，黃仁勛說：“我知道這一定會(huì)是一款完美的芯片，因?yàn)槿绻皇堑脑挘覀兙鸵P(guān)門大吉了。我們只有一次機(jī)會(huì)。”

由于采購了 ICOS 公司的模擬器，NVIDIA 可以在虛擬環(huán)境中測試芯片。軟件團(tuán)隊(duì)編寫了整個(gè)軟件堆棧，將其運(yùn)行在這個(gè)模擬器上，并等待 Windows 系統(tǒng)的反應(yīng)。他回憶說，當(dāng)決定發(fā)布芯片的那一天，芯片被認(rèn)為是完美的。NVIDIA 提前測試了所有可能的情況，并向每個(gè)人宣布：NVIDIA 要發(fā)布芯片！這肯定是完美的芯片！“當(dāng)你知道自己要發(fā)布芯片，并且是一款完美的芯片，那么下一步顯然就是量產(chǎn)了。”

CUDA 也是如此。NVIDIA 一直在思考如何在 GPU 上創(chuàng)建一個(gè)高級(jí)別的抽象層，以更高級(jí)別的編程語言和表達(dá)方式進(jìn)行操作。這個(gè)抽象層的概念是為了將 GPU 用于更廣泛的應(yīng)用，如 CT 重建和圖像處理。當(dāng)時(shí)，NVIDIA 的這一想法獲得了一些積極的反饋，他們認(rèn)為通用計(jì)算是可行的。這是一個(gè)高度并行的、大規(guī)模線程的處理器，也是世界上唯一能做到這一點(diǎn)的處理器。通過觀察可編程著色器的管線結(jié)構(gòu)，團(tuán)隊(duì)認(rèn)為 GPU 擁有大規(guī)模并行處理的能力，這使得 CUDA 平臺(tái)的成功變?yōu)榭赡堋?/p>

對(duì)于世界上許多問題而言，NVIDIA 更關(guān)注其可預(yù)測性，這種方法適用范圍極為廣泛，包括預(yù)測購物趨勢、音樂選擇，甚至天氣預(yù)測。黃仁勛指出，這種方法可能影響很多產(chǎn)業(yè)，因?yàn)閹缀趺恳豢钴浖伎梢酝ㄟ^這種方式進(jìn)行編程，因此構(gòu)建計(jì)算機(jī)和芯片的方式將徹底改變。明白這些道理后，剩下的就是是否有勇氣投入資源加速創(chuàng)新。

OpenAI 和大語言模型的故事

黃仁勛表示，雖然他沒有參與創(chuàng)建 OpenAI，但和該公司許多重要人員都保持密切聯(lián)系。黃仁勛強(qiáng)調(diào)，最初研發(fā)的 DGX 即現(xiàn)在的 Hopper，重 70 磅，有 35,000 個(gè)零件，10,000 安培。由于了解 OpenAI 對(duì)大型計(jì)算機(jī)的需求，所以黃仁勛親自將第一版 DGX 交付給 OpenAI，這一刻成為了他的美好回憶。

黃仁勛認(rèn)為與研究人員的討論和交流是 NVIDIA 所需要的積極反饋方式，因?yàn)?NVIDIA 初期的成功就主要集中在協(xié)助研究人員提高工作水平。盡管深度學(xué)習(xí)在當(dāng)時(shí)的情況下并不十分實(shí)用，但他始終堅(jiān)信，只需一些改進(jìn)，這項(xiàng)技術(shù)將會(huì)變得非常卓越。這種信念源于他與該領(lǐng)域杰出研究人員的互動(dòng)，以及他所見證的漸進(jìn)性的進(jìn)步。黃仁勛還特別提到研究論文的發(fā)表速度從最初每三個(gè)月一篇增加到了如今的每天都有新作。這也表明，深度學(xué)習(xí)領(lǐng)域的進(jìn)步正在以指數(shù)級(jí)增長。

在談及大型語言模型時(shí)，黃仁勛指出最初的印象是它能夠在屏蔽一些詞匯的情況下巧妙地預(yù)測下一個(gè)詞，他認(rèn)為這展現(xiàn)了自我監(jiān)督學(xué)習(xí)的最佳實(shí)踐。黃仁勛強(qiáng)調(diào)大家都有文本，并且都知道答案是什么，只需要進(jìn)行猜測，因此他最初對(duì) BERT 的印象是它非常聰明。然而，黃仁勛同時(shí)指出現(xiàn)在的挑戰(zhàn)在于如何將這項(xiàng)技術(shù)擴(kuò)展到更廣泛的范圍。他認(rèn)為對(duì)于幾乎所有事物的首次觀察都是令人著迷的，隨后則需要努力理解其原理。所以接下來的步驟是基于第一原則出發(fā)，思索如何將這項(xiàng)技術(shù)應(yīng)用到更廣泛的領(lǐng)域。他預(yù)測 BERT 在未來會(huì)變得更為龐大。

數(shù)據(jù)中心之旅

黃仁勛在節(jié)目中提到，NVIDIA 的數(shù)據(jù)中心之旅從 2017 年前開始。他總是被問，公司可能會(huì)面臨什么挑戰(zhàn)？

黃仁勛認(rèn)為，如果一項(xiàng)技術(shù)需要部署到計(jì)算機(jī)，那這臺(tái)計(jì)算機(jī)必須放在你身邊。因?yàn)樗仨氝B接顯示器，這將在未來限制發(fā)展機(jī)會(huì)。當(dāng)時(shí)，可插入 GPU 的臺(tái)式電腦非常有限，同時(shí)可以驅(qū)動(dòng)的 CRT 顯示器和液晶顯示器也很有限。所以如果計(jì)算機(jī)不需要連接顯示設(shè)備，就可以在其他地方進(jìn)行計(jì)算。

GeForce NOW 是 NVIDIA 的第一個(gè)數(shù)據(jù)中心產(chǎn)品。NVIDIA 的第二個(gè)數(shù)據(jù)中心產(chǎn)品是用于遠(yuǎn)程圖形計(jì)算，它將 NVIDIA 的 GPU 置于全球企業(yè)數(shù)據(jù)中心。接著 NVIDIA 推出了第三款產(chǎn)品，它將 CUDA 和 GPU 結(jié)合起來，成為一臺(tái)超級(jí)計(jì)算機(jī)。

隨后 NVIDIA 朝著更多方向努力。這一切之所以如此重要，是因?yàn)?NVIDIA 分離了計(jì)算和產(chǎn)品使用的地點(diǎn)。黃仁勛認(rèn)為如果能將二者分離，市場機(jī)會(huì)將會(huì)迅速擴(kuò)大。這種分離意味著不再受制于臺(tái)式電腦所帶來的物理限制，也不再受限于每人一塊 GPU 的局限。換句話說，無論計(jì)算發(fā)生在哪里都不再重要。

GTC 2024 將于 2024 年 3 月 18 至 21 日在美國加州圣何塞會(huì)議中心舉行，線上大會(huì)也將同期開放。點(diǎn)擊“閱讀原文”或掃描下方海報(bào)二維碼，關(guān)注更多會(huì)議及活動(dòng)信息。