大模型對算力的需求主要體現(xiàn)在訓練端：在考慮互聯(lián)損失的情況下，Chatgpt需要一萬張A100作為算力基礎，算力的硬件投資規(guī)模達到10億人民幣。

國內(nèi)大模型與國外的主要差距是算力層面，沒有算力基礎，后面算法等發(fā)展都無法進行大模型應用場景會率先爆發(fā)于：工具鏈層面，如ChatGPT和Office產(chǎn)品結(jié)合，提高交互和工作效率；語音交互層面，如智能音箱、智能座艙和 智能家居等。

國內(nèi)AI芯片廠商格局：一梯隊，有成熟產(chǎn)品、批量出貨的企業(yè)，包括寒武紀、華為海思、百度昆侖芯、燧原科技等；二梯隊，以AI芯片起家的壁 仞科技、天數(shù)智心、摩爾線程、沐曦等；三梯隊，如海光、景嘉微等。

國內(nèi)AI芯片與A100的差距：已經(jīng)批量生產(chǎn)的產(chǎn)品，大多都是A100的上一代；各公司正在研發(fā)的相關(guān)產(chǎn)品，如昆侖芯三代、思遠590、燧思3.0 等，都是對標A100，但由于“實體清單”的限制以及研發(fā)水平的原因，都還沒有推到市場

寒武紀思元590與英偉達的差距：寒武紀主要還是ASIC架構(gòu)，劣勢是通用性會比較差，優(yōu)勢是某些特定應用場景下，算力可以做到比GPU更 高；百度內(nèi)部的測試結(jié)果，590性能接近A100 90%的性能；590基本支持主流的模型，綜合性能接近A100 80%的水平

英偉達A800和H800的出貨量預期：訓練芯片，國內(nèi)將有近200億RMB的采購規(guī)模；推理芯片，預計采購金額達100億RMB；國內(nèi)對英偉達總 的采購需求約為300億RMB。

關(guān)于AI大模型及ChatGPT業(yè)內(nèi)權(quán)威，全網(wǎng)最全材料，請參考下載鏈接：400+份重磅ChatGPT/AI大模型專業(yè)報告。

Q：大模型在算力端帶來了哪些新的需求？

算力需求主要分為兩部分，包括訓練算力和推理算力。

目前來說對訓練算力需求非常高，ChatGPT的公開數(shù)據(jù)顯示它的整個訓練算力消耗非常 大，達到了3640PF-days(即假如每秒計算一千萬億次，需要計算3640天)，換算成英偉達A100芯片，它單卡算力相當于0.6P的算力，理想情況 下總共需要大概6000張，在考慮互聯(lián)損失的情況下，需要一萬張A100作為算力基礎。

在A100芯片10萬人民幣/張的情況下，算力的硬件投資規(guī) 模達到10億人民幣。而整個的數(shù)據(jù)中心還需要推理算力以及服務器等，規(guī)模應該在100億人民幣以上。

Q：大模型對計算的需求和以往有什么差別？

具體包括在算力，互聯(lián)等方面以往大多都是數(shù)據(jù)中心，超算中心以及各大互聯(lián)網(wǎng)公司的云計算中心會有相關(guān)的算力基礎設施需求。

訓練端：訓練算力相關(guān)設備主要是英偉達的A100和H100，推理算力主要是英偉達T4卡。ChatGPT的發(fā)布使得算力需求增加了，以前算力的商業(yè) 應用并沒有特別多，主要是推理端像圖像識別、語音識別等。大模型的爆發(fā)會導致訓練的應用場景越來越多，對訓練算力的需求會大幅增長，增長 幅度能達到10倍甚至100倍。

推理端：也會有相應的增長，但幅度不會這么大。

Q：做好一個大模型的最低門檻就是1萬塊A100的芯片，這個說法準確嗎？

如果對標的模型是ChatGPT，那是需要這樣的硬件需求的。但百度文心一言沒有達到這個芯片規(guī)模，訓練算力沒有達到ChatGPT的水平，尤其是在上下文互動和邏輯上有較大缺陷。

主要問題是文心一言的訓練精度不夠，這是因為它算力本身的限制。

國內(nèi)目前大模型主要是算力層面和國外差距比較大，這也是制約國內(nèi)大模型發(fā)展的客觀因素，沒有算力基礎，后面算法等發(fā)展都無法進行。

Q：互聯(lián)網(wǎng)大廠囤芯片以防斷供的具體情況？

2022年美國限制英偉達和AMD向國內(nèi)出售高性能計算芯片，國內(nèi)互聯(lián)網(wǎng)大廠意識到風險，去找英偉達購買。但因為從下單到拿貨的周期較長，國內(nèi)互聯(lián)網(wǎng)廠商的優(yōu)先級較低，國內(nèi)互聯(lián)網(wǎng)大廠買到的A100以及H100芯片數(shù)量是比較有限的。

Q：中國特供版A800和H800與A100和H100的具體差距？

主要差距是互聯(lián)帶寬的下降。A800的互聯(lián)帶寬從A100的600GB/S下降到400GB/S，H800的互聯(lián)帶寬從H100的900GB/S下降到450GB/S。本身單卡的算力不變，但是集群后，卡間互聯(lián)的帶寬會限制整個集群的算力規(guī)模。

Q：國內(nèi)目前GPU芯片能不能支撐大模型的需求？

國內(nèi)目前的相關(guān)產(chǎn)品都和A100有所差距。

一部分是已經(jīng)批量生產(chǎn)的產(chǎn)品，大多都是A100的上一代，比如寒武紀的思元290、百度的昆侖芯二代、燧原科技的燧思2.0的算力水平都落后于 A100一代。

還有各公司正在研發(fā)的相關(guān)產(chǎn)品，比如昆侖芯三代、思遠590、燧思3.0等，這些產(chǎn)品都是對標A100，但由于“實體清單”的限制以及研發(fā)水平的 原因，這些產(chǎn)品都還沒有推到市場。華為的昇騰910芯片，也是受限于公司被制裁，沒有大規(guī)模的出貨以及銷售，可能在政府的計算中心有所使用，但對商用客戶端幫助有限。

Q：哪些芯片相關(guān)企業(yè)會受益于大模型的浪潮？

首先是算力芯片，包括英偉達的A100和H100，以及寒武紀、昆侖芯、燧原、華為海思、海光、沐曦以及摩爾線程。如果國內(nèi)的產(chǎn)品能去替代英 偉達的產(chǎn)品，會是一個非常大的機會。

經(jīng)歷制裁后，國內(nèi)的大型互聯(lián)網(wǎng)企業(yè)在采購相關(guān)芯片時，目前還是會購買英偉達，但應該也會有相關(guān)的國產(chǎn)化替代方案。從生產(chǎn)層面看，還需要高帶寬內(nèi)存顆粒，目前國內(nèi)的合肥長鑫和長江存儲都還做不了，主要是國外的三星、美光和海力士三家企業(yè)。產(chǎn)業(yè)鏈上，會帶動先進封裝相關(guān)公司，未來國內(nèi)芯片廠商會在國內(nèi)的封裝廠做先進封裝。除了算力芯片，數(shù)據(jù)中心建設也需要CPU服務器，會帶動國內(nèi)提供大型服務器的廠商，比如浪潮信息、中科曙光等，以及光模塊、調(diào)節(jié)芯片和散熱技術(shù)，都會有相關(guān)需求。

Q：計算芯片中除了GPU芯片，FPGA芯片、專用芯片ASIC發(fā)揮什么作用？

高性能計算芯片不止GPU這個處理架構(gòu)，比如像寒武紀的ASIC和GPU是同樣的應用場景，只是技術(shù)架構(gòu)不一樣。比如百度的昆侖芯一代，是XPU-K（自研）的架構(gòu)。因此算力芯片，不光只有GPU，也包含ASIC、FPGA芯片。

Q：在美國制裁的背景下，國內(nèi)廠商怎么去替代英偉達的A100，通過什么途徑？

目前尤其是在制程工藝的限制，美國2022年10月份的政策限制是互聯(lián)帶寬超過600G，算力超過600T的產(chǎn)品不能使用臺積電的先進代工工藝。國內(nèi)的產(chǎn)品不能超過A100的規(guī)格，否則不能使用7nm或者5nm的生產(chǎn)工藝。目前國內(nèi)有7nm產(chǎn)品的只有中芯國際，從成熟度和產(chǎn)品產(chǎn)能上都和臺積電有差距。但即使有差距，國內(nèi)的公司也會陸續(xù)通過中芯國際的生產(chǎn)工藝 去生產(chǎn)相關(guān)的芯片。雖然目前工藝限制在7nm，但我們可以通過chiplet等先進的封裝工藝將多個7nm芯片高速互聯(lián)，實現(xiàn)算力的提升。

Q：目前已經(jīng)在實體清單的芯片公司的情況？

目前華為、寒武紀、海光已在“實體清單”里面，這些公司如果要生產(chǎn)的話，要不就得找中芯國際；要不就得通過類似代理形式或其他渠道找臺積電 生產(chǎn)。但后一種方法要面臨臺積電的審查，但臺積電目前整個產(chǎn)線的產(chǎn)能利用率很低，只有約50%，應該不會像之前管的那么嚴，如果提交的合規(guī)報告 或材料符合臺積電的要求，比如600+600的審核要求，終端應用場景也不涉及如軍工等敏感領域的話，臺積電也是能夠通過代理方式給這些公司生產(chǎn)的。

我估計目前海光、寒武紀可能都是通過這種途徑去實現(xiàn)生產(chǎn)的；華為因為本身目標太大，如果量不大的話應該可以，量特別大的話容易被發(fā)現(xiàn)。

Q：目前英偉達訂單量是否有比較大的變化？

變化大概多大？ChatGPT發(fā)布后，首先微軟方面肯定是加買了A100和H100，尤其是微軟現(xiàn)在主要購買方向是向H100升級，主要買的是H100。

國內(nèi)公司受限于制裁，應該是不能買A100的，A800推出后國內(nèi)公司應該給了英偉達不少訂單。但A800因為還要做一些帶寬的限制和更改，所以目前還沒有批量出到國內(nèi)，仍需一定時間，但我預計應該很快就會陸續(xù)供給國內(nèi)。

我認為今年英偉達的數(shù)據(jù)中心業(yè)務應該會有一個比較大的增長。因為這些企業(yè)都會有一些戰(zhàn)略性的備貨，如果按照正常節(jié)奏買的話，應該不會買這么多。對于ChatGPT帶起的熱潮，國內(nèi)企業(yè)可能擔心以后會買不到，因此會按2-3倍的量去備貨。

Q：如何看待英偉達超級計算服務對AI產(chǎn)業(yè)的影響？

我們業(yè)內(nèi)覺得這個東西沒有什么特別的地方。

國內(nèi)真正能夠做大模型或者有實力去投資大模型的大型互聯(lián)網(wǎng)廠商，他們不會去租英偉達的超級計算服務，因為沒有人愿意把自己的數(shù)據(jù)放在別人的數(shù)據(jù)中心里，從數(shù)據(jù)安全的角度講，是一個非常大的風險。尤其是像百度、阿里，他們掌握著國內(nèi)用戶一些比較比較敏感的數(shù)據(jù)，如搜索、購物習慣等。這個比較類似于滴滴，如果這些公司把這些數(shù)據(jù)弄到英偉達的服務器上去跑的話，這個風險我認為他們應該承擔不了，滴滴被罰已有先例。

所以我認為從國內(nèi)來講，英偉達提供的計算服務，國內(nèi)客戶應該沒有什么會去用的，可能一些本身不涉及敏感數(shù)據(jù)的客戶可能會去嘗試，但能做 ChatGPT或文心一言這種規(guī)模的企業(yè)很少會用英偉達的租賃服務或超級計算服務。

國外客戶可能會受益，因為一些小規(guī)模的客戶沒有能力建ChatGPT規(guī)模的算力中心，他們可以通過租賃方式使用英偉達的超算中心作為自己模型 的基礎設施設施去實現(xiàn)自己模型的運行。

Q：之前有說法說英偉達超級計算服務可通過阿里云、騰訊云做接口提供給國內(nèi)企業(yè)用戶，這是否意味著國內(nèi)承擔不起大算力成本的的中小企業(yè)會考慮租用英偉達的超級計算服務？

如果能把數(shù)據(jù)安全層面的問題解決，至少從數(shù)據(jù)安全的角度講，如果國家層面的審核通過，國內(nèi)也想做大模型的小型企業(yè)通過租云服務平臺去推動自己的模型。

Q：英偉達的光刻計算技術(shù)未來會減少多少對于CPU服務器的需求？

英偉達的主要目的不是想替代，發(fā)布時提出的目標是要把臺積電4萬臺做光刻用的CPU全換成英偉達的超級光刻計算機。我認為GPU是取代不了CPU的，因為本身兩者的運行是不一樣的，光刻領域很多是運算的東西，可能GPU有自己的優(yōu)勢。但CPU本身也有控制、調(diào)度、流水線的進程操作，能用這么多年有它自己的應用場景和優(yōu)勢。

GPU其實擅長計算，并不擅長去做控制、調(diào)度的事情。英偉達在GPU里做類似于ARM的CPU去替代，但我認為在應用場景等各方面沒那么容易。

比如現(xiàn)在企業(yè)服務器市場，英特爾和AMD份額穩(wěn)定，英偉達想要踏足還是有很大的難度，也有一些技術(shù)障礙。可能臺積電這種特定場景可以替代，但未來想把CPU整個層面上用GPU替代沒有那么簡單。

Q：目前英偉達和國內(nèi)供應商的關(guān)系如何？

比如做整機的供應商，浪潮集團也被加入限制名單他們不受限制。因為中國政府層面對這些外企目前還沒有任何的限制政策，英偉達在國內(nèi)份額和產(chǎn)業(yè)情況應該也帶動了不少的先進制造和就業(yè)。我認為英偉達跟國內(nèi)做整機的和架構(gòu)的供應商，目前都合作都正常，而且英偉達后續(xù)應該還有更多訂單給到這些供應商。只是做好的高性能計算芯片受限制，不賣給或者降規(guī)格賣給國內(nèi)企業(yè)。這些限制主要還是來自于美國政府層面，供應層面應該沒有問題。一旦上了實體清單就沒辦法。因為不管是英偉達還是任何的美國企業(yè)都不能跟你做生意。如果他跟你有貿(mào)易來往，美國政府就可以對他進行制裁。這個限制范圍很大，任何使用美國技術(shù)的企業(yè)都不能跟你有貿(mào)易來往，比如現(xiàn)在不僅英偉達不能跟浪潮之間有貿(mào)易來往，甚至像韓國、臺灣的企業(yè)都受約束。

Q：國內(nèi)來看，您認為哪些領域大模型會率先爆發(fā)應用場景？對算力產(chǎn)業(yè)鏈有什么影響？

目前很多公司宣布接入文心一言，ChatGPT在國內(nèi)國外的應用場景也都陸續(xù)在落地。

1）工具鏈層面：大模型可以做很多事情，比如ChatGPT和Office產(chǎn)品的結(jié)合，以前很多東西需要人去寫公式、計算，但是現(xiàn)在ChatGPT接入后 Office會變得非常靈活，通過office做交互、實現(xiàn)的話，工作效率會有一個非常大幅的提高。

2）語音交互層面：智能交互，如智能音箱、智能座艙，未來肯定會有一個大的提升，現(xiàn)在汽車里用的小度等，其實語言理解能力是很差的，想要交互是很難的，而且體驗也非常差；大模型接入后，語音交互層面會做得很好，比如我們在汽車智能座艙里發(fā)一個指令，他的理解、執(zhí)行他就會非 常精確。包括我們用的智能音箱、智能家居等，理解、執(zhí)行也會比較到位。

Q：目前國內(nèi)AI芯片廠商的格局？

個人看法，以大算力或者高性能計算芯片為代表看的話：

第一梯隊：有成熟產(chǎn)品、批量出貨的企業(yè)，主要包括寒武紀、華為海思、百度昆侖芯、燧原科技，這四家有2-3代更多的產(chǎn)品，技術(shù)能力、軟件能 力都有一定積累。

第二梯隊：包括壁仞科技，它去年發(fā)布的產(chǎn)品規(guī)格很高，但主要還是停留在紙面數(shù)據(jù)，實測數(shù)據(jù)、實際性能方面業(yè)界和第三方評測機構(gòu)評價沒有那么高，它本身的性能是不及A100的，而且軟件層面也還有很多工作要做，目前它只是做了一個軟件的雛形，從使用角度來講離成熟的生態(tài)軟件、規(guī)模化的出貨、客戶端的個適配還有很長的路要走，現(xiàn)在它也面臨著制裁問題、實體清單問題，對于這樣的初創(chuàng)企業(yè)是生存層面的問題。像天數(shù)智心、摩爾線程、沐曦也都陸續(xù)有產(chǎn)品推出，但技術(shù)能力不及壁仞，只是停留在推理層面，不像第一梯隊的企業(yè)有更成熟的產(chǎn)品經(jīng)驗，但這幾集也都 至少是以做AI芯片起家的，專注于該領域。

第三梯隊：包括海光、景嘉微，他們以前不是做GPU的，現(xiàn)在過來做GPU。景嘉微也是做GPU芯片的，但在商用端沒有多少使用，實際產(chǎn)品性能 不是特別清楚。海光是做X86CPU起家的，GPU的技術(shù)能力還有待市場的認可和檢驗。

Q：訓練芯片是1萬張A100的話，推理芯片需要多少？如果它跟日活訪問次數(shù)等有相關(guān)性的話，中長期來看推理芯片的情況？

雖然說大模型訓練的算力需求量非常大，但是產(chǎn)能模型訓練好了之后，實際投入到使用中或是在跟終端的互動中，其實也是需要消耗很多的推理算力，尤其是在訪問量大的時候。所以其實不管是微軟的智能計算中心，還是百度的智能計算中心，我認為都有相當規(guī)模的推理算力。

通常數(shù)據(jù)中心或者超算中心里都會配備推理算力，一般算力的規(guī)模或者說數(shù)量的規(guī)模沒有特別少的，尤其是數(shù)量。比如我買1萬張A100的卡，可能還要配幾千張的T4推理卡，當然英偉達現(xiàn)在最新出的L4推理卡也會配在數(shù)據(jù)中心里，但是目前來看它的規(guī)模應該沒有訓練的算力規(guī)模大，但隨著訪問量或交互量上升，我認為推理算力需求量是不小的。當然推理層面CPU本身也是可以分擔一些，尤其是數(shù)據(jù)中心里用的這種大型企業(yè)級 CPU，本身是可以做一些推理的事情，但是畢竟不是專業(yè)做運算的，所以我認為肯定還是需要大量的推理卡支持。我認為可能規(guī)模比較大或后期訪 問量特別大的數(shù)據(jù)中心，推理卡的數(shù)量可能會非常接近訓練卡的數(shù)量。當然因為推理卡本身的價值、算力沒有訓練卡大，所以從市值規(guī)模看，應該 還是沒有訓練卡的市場規(guī)模大。

Q：寒武紀的思元590跟英偉達相比有哪些差距？

從技術(shù)架構(gòu)或初級架構(gòu)角度看，寒武紀產(chǎn)品主要還是ASIC架構(gòu)，ASIC的劣勢在于通用性會比較差，優(yōu)勢在于如果某些特定應用場景它把算法固化到硬件里邊去，算力是可以做到比GPU更高的。這個特點也決定了它的最終的性能特點，所以我們看到公開信息或一些百度內(nèi)部的測試結(jié)果，寒武紀590在做大模型的訓練跑transformer、BERT等大語言模型時，性能非常接近A100，接近90%的性能。但如果跑20-30個主流的模型，我們 會看到可能有些模型如果在算法層面沒有做特別的固化優(yōu)化的話，可能只能達到A100 50-60%的性能。綜合來看，基本上主流的模型590都是支持的，綜合性也接近A100 80%的水平。

Q：如果美國后續(xù)不給ARM的架構(gòu)授權(quán)的話，我們有什么解決方案？

目前不管是國內(nèi)芯片公司，還是英偉達的AI的云端、推理端架構(gòu)芯片，內(nèi)部都用了ARM的CPU去做控制，因為AI芯片的內(nèi)部，除了ASIC或GPU芯 片的內(nèi)核以外，一般都會配一個ARM的CPU去做AI芯片、處理器層面或是內(nèi)部的交互，或者做一些控制層面的事情。所以CPU其實對AI芯片來說也 是一個非常重要的東西。

如果我們后面國內(nèi)AI芯片企業(yè)拿不到ARM的授權(quán)，一是已經(jīng)授權(quán)的東西還是可以繼續(xù)用，比如華為、百度、寒武紀已經(jīng)拿到了A78的授權(quán)，但是沒有了后續(xù)的支持，無法用最新的ARM的架構(gòu)；二是目前國內(nèi)同ARM競爭的RISC-V發(fā)展的也挺好，它是一個開源生態(tài)，如果后續(xù)真的國內(nèi)芯片企業(yè) 用不了ARM的話，對它是一個好機會，在性能層面它其實沒有比ARM差多少，主要問題在于生態(tài)沒有像ARM那么完善，如果有更多的開發(fā)者去起 來的話，可能生態(tài)會慢慢完善起來。

Q：如何看待ARM打算改變授權(quán)費模式，從原本的按照芯片價格1-3%收取費用改為按照整機價格收取費用？

按整機價格收取的話可以多要點錢，我們做芯片設計的跟這些IP公司打交道比較多，他們對我們，尤其是國內(nèi)芯片企業(yè)，不光收費貴，而且審計等非常嚴格。很多時候一次性授權(quán)要收取，后面賣出的單顆芯片還要在收取一定比例的費用，所以其實是非常貴的。

用這種商用IP，尤其是ARM，用這些國外的大型IP廠商其實代價都是非常大，對芯片公司尤其初創(chuàng)企業(yè)來說，花費的成本非常高。但我們還沒有自研能力去做出來比較好的IP，很多比較簡單的接口IP如走字眼的高速接口，華為、寒武紀等都可以自己做，但ARM目前確實是比較難做。如果ARM還要再后面再漲價的話，會有更多的芯片設計公司轉(zhuǎn)向RISC-V，其生態(tài)會慢慢發(fā)展壯大，挑戰(zhàn)ARM生態(tài)。

其實ARM一家獨大已經(jīng)這么多年了，我覺得應該有一個像RISC-V這樣的競爭對手，不然在國內(nèi)乃至全球大家都不得不用ARM。這種有點像壟斷，像高通之前因收取整個手機的專利授權(quán)費用被中國政府罰款后就把收費政策改了，如果ARM這么弄的話，可能我們也會有一些扶持或者制裁措施。所以ARM授權(quán)模式的改變不一定能成功，而且如果推行的話有可能刺激RISC-V生態(tài)壯大。對于芯片公司的研發(fā)者或設計者，轉(zhuǎn)去RISC-V生態(tài)也是一個好的解決方案，只是要花一些學習成本。

Q：RISC-V架構(gòu)的在國內(nèi)的使用情況？

目前國內(nèi)RISC-V占有率較低，但增長很快，因此未來會有許多企業(yè)去做RISC-V產(chǎn)品。比如，阿里提供基于RISC-V架構(gòu)的平臺及生態(tài)服務。寒武紀、華為已經(jīng)開始使用RISC-V架構(gòu)。

邊緣側(cè)AI芯片大多采用ARM架構(gòu)，因此在專利授權(quán)的模式改變和壟斷的情況的發(fā)生下，會有更多企業(yè)去嘗試使用RISC-V處理器架構(gòu)，從而促進整個生態(tài)的增長。疊加國內(nèi)很多企業(yè)上了美國“實體清單”，ARM停止服務，促進了RISC-V等開源架構(gòu)的應用增長。

Q：海光Z100和英偉達A100的差距？和應用領域？

海光訓練產(chǎn)品的算力規(guī)模不足以支持做數(shù)據(jù)中心。海光DCU Z100訓練算力較小，不到100TFLOPS，只適合一些推理場景，不足以支持大模型的訓練，因此沒有能力去替代寒武紀、華為和英偉達的產(chǎn)品。

目前來看海光缺少大算力技術(shù)基礎。第一，海光的X86授權(quán)CPU技術(shù)積累，對做GPU沒有幫助。第二，海光的AMD授權(quán)軟件生態(tài)也不足以在大算力的超算領域和英偉達的擴大生態(tài)競爭。因此，要做大算力產(chǎn)品還有很長的路要走。

從產(chǎn)品層面來講，海光離傳統(tǒng)做AI芯片的企業(yè)還是有較大的技術(shù)差距。

Q：國內(nèi)大廠（華為、百度、騰訊等）的大模型和OpenAI大模型的算力區(qū)別？

目前國內(nèi)，已經(jīng)發(fā)布的大模型產(chǎn)品只有百度文心一言，在國內(nèi)處于AI一哥的地位，占據(jù)了先機。但是從試用結(jié)果看，和ChatGPT、GPT4的相差還是很大。百度的算力、硬件、算法模型層面都沒有做到ChatGPT的水平。

具體從算力層面看：第一，算力基礎設施規(guī)模小于微軟的規(guī)模水平，因此訓練精度水平較低。第二，盡管從國內(nèi)的角度看，百度對AI算法的投資最多，研發(fā)時間最長，技術(shù)能力最強，但做AI大模型的時間還是相對較短，因此還需要后續(xù)的優(yōu)化。

其他幾家大型互聯(lián)網(wǎng)企業(yè)在大模型領域應該都有提前布局，但由于在OpenAI做出產(chǎn)品之前，這個領域一直沒有商機和盈利，因此大家都沒有落地該應用，沒有百度重視這個領域。ChatGPT火了之后，很多互聯(lián)網(wǎng)企業(yè)才加速了推動自己的產(chǎn)品。

阿里、頭條、360、騰訊等大廠可能陸續(xù)會推出產(chǎn)品，但做的也會比較倉促，積累時間不夠。

Q：文心一言算力使用的產(chǎn)品？

訓練端：主要使用英偉達產(chǎn)品V100和A100。

推理端：除英偉達，還使用部分***，比如百度、寒武紀等。

Q：大算力模型發(fā)展對上游海光和寒武紀廠商有什么影響？

百度、騰訊、阿里等，肯定基礎算力的采購需求，疊加政策限制和國產(chǎn)替代，互聯(lián)網(wǎng)大廠會逐步考慮國產(chǎn)供應商。

Q：目前百度昆侖芯、寒武紀的主力產(chǎn)品是哪些？下一步研發(fā)計劃？

昆侖芯：目前百度已有兩款產(chǎn)品，第一，2018年下半年發(fā)布昆侖芯一代產(chǎn)品，基于三星14nm，可以做訓練和推理，因此主要用于推理。第二， 2021年發(fā)布昆侖芯二代產(chǎn)品，搭載GDDR6高性顯存，支持256TOPS(INT8)算力，和V100性能差不多，可以做訓練和推理。兩個產(chǎn)品都在百度云服務器上部署。第三代昆侖芯產(chǎn)品，預計明年上半年發(fā)布，目標達到A100性能。

寒武紀：相對來說是國內(nèi)做的比較早的廠商。2021年發(fā)布的思元370，是訓練和推理一體的產(chǎn)品，推理算力為256TOPS(INT8)，訓練算力為 128TFLOPS。出貨量在寒武紀云端產(chǎn)品和商用客戶端，屬于相對較大的。比如，在阿里云、浪潮、曙光等服務器廠商和科大訊飛等AI算法層面的 公司都有批量出貨。訓練端產(chǎn)品主要是2021年發(fā)布的思元290和還未發(fā)布的思元590。思元290采用7nm臺積電制程工藝，訓練算力達256TFLOPS，比英偉達的V100和昆侖芯二代都要強一些，但還不足A100的水平。玄思1000加速器搭載4塊思元290芯片，整機算力達到1P。下一代產(chǎn)品思元590，規(guī)模能達到A100水平，性能將達到預期。再下一代產(chǎn)品，計劃對標H100，但要先解決供應的問題，因此項目節(jié)奏會推后。

Q：今年英偉達在國內(nèi)替代款A800和H800，出貨量預期？

國內(nèi)市場：國內(nèi)可以規(guī)模化買H800和A800的產(chǎn)品的公司最多十幾家，主要系大型互聯(lián)網(wǎng)企業(yè)的采購。浪潮、曙光等應該是無法購買。估計一塊芯片價格10萬人民幣，疊加企業(yè)要做ChatGPT這種大模型需要芯片1萬張起步，能拿出10億規(guī)模的現(xiàn)金流，主要還是大型的互聯(lián)網(wǎng)企業(yè)。個人預期各企業(yè)將會有囤貨需求，按每家企業(yè)2萬張的平均需求來計算，在訓練方面，國內(nèi)將會有接近200億人民幣的采購規(guī)模。在推理芯片方面，預計采購量將是100億。總的來看，整個國內(nèi)對英偉達的采購需求大概為300億人民幣。

海外市場：海外需求偏市場化，不太需要提前存貨。預計今年也有一個更大規(guī)模增長。微軟、谷歌和Bing等大企業(yè)對大模型的采購需求將增加英偉達芯片的出貨量，預期今年將增長30%-50%。

Q：INT8和FP16算力是什么意思？

目前AI芯片或AI加速卡在計算算力的時候，一般采用兩個數(shù)據(jù)格式：INT8（二進制的8位的整型數(shù)據(jù)）和FP16（16位浮點數(shù)）。訓練的產(chǎn)品主要 處理是浮點數(shù)，推理算力主要處理整型數(shù)據(jù)。

推理端：一般標記INT8的算力。分類檢索識別、語音識別、文本識別等推理場景主要處理的數(shù)據(jù)格式是8位整型數(shù)據(jù)。1TOPS的算力指1秒鐘做1萬億次INT8整型數(shù)據(jù)運算。

訓練端：業(yè)界主流標記為FP16。因為訓練對模型的要求越高，對數(shù)據(jù)運算的要求也更高更精準。FP16指1秒鐘做多少次16位浮點數(shù)的運算， 1TFLOPS表示1秒鐘做一萬億次浮點數(shù)的操作運算。

算力的換算關(guān)系：

（1）整型INT8的算力是128T，則換算成INT16時，算力會減半到64T。

（2）浮點數(shù)的關(guān)系不是減半，浮點數(shù)位數(shù)更大，算力 下降的更快。例如，英偉達A100的16位的浮點數(shù)算力是624T，32位浮點數(shù)的算力只有40T。

傳統(tǒng)的數(shù)據(jù)中心的區(qū)別在于，在AI常見的Infini Band fat tree 結(jié)構(gòu)下，使用的交換機數(shù)量更多，且因為每個節(jié)點上行下行的端口數(shù)完全一致。

英偉達所采用的 AI 集群模型中，對應的一個基本單元為 SuperPOD。一個標準的 SuperPOD 由 140 臺 DGX A100 GPU 服務器、HDR InfiniBand 200G 網(wǎng)卡和 170 臺 NVIDIA Quantum QM8790 交換機構(gòu)建而成，其中交換機速率為 200G，每個端口數(shù)為 40 個。

基于英偉達方案，一個 SuperPOD 170個交換機，每個交換機有 40 個端口，最簡單方式上下各70 臺服務器，依次端口互聯(lián)（上下 1：1 連接）對應的線纜需求為 40×170/2=3400 根，考慮實際部署情況上調(diào)至 4000 根線纜需求。

其中，銅纜：AOC：光模塊比例=4：4：2。

對應光模塊需求數(shù)量=4000*0.2*2=1600 個，即對于一個SuperPod，服務器：

交換機：光模塊的用量比例=140：170：1600=1：1.2：11.4一個類似 GPT4.0 入門級別要求的需求大約需要3750 臺 NVIDIA DGX A100服務器。

根據(jù) IDC 數(shù)據(jù)，2021 年全球 AI 服務器市場規(guī)模為 156 億美元，預計到 2026 年全球 AI 服務器市場將達到 355 億美元；2021 年中國 AI 服務器行業(yè)市場規(guī)模為 64 億美元。根據(jù) IDC 數(shù)據(jù)，數(shù)據(jù)中心場景中，200/400G 端口出貨量有望快速提升，22-26 年復合增速達 62%，預計 2026年全球交換機端口出貨量超 8.7 億個，市場規(guī)模超 440 億美元。