過(guò)去幾年，越來(lái)越多企業(yè)加入到存算一體技術(shù)的研究中，如今，存算一體芯片已經(jīng)逐漸走向商用。

從目前入局的企業(yè)來(lái)看，路線各異，包括采用不同類型的存儲(chǔ)器，從中小算力入手，或是直接進(jìn)行大算力存算一體芯片的研究，有的是采用模擬的存算技術(shù)，有的采用數(shù)字的存算技術(shù)。

那么如何選擇合適的存儲(chǔ)器類型，如何做大算力的存算一體芯片設(shè)計(jì)，采用模擬技術(shù)還是數(shù)字的方式？千芯科技董事長(zhǎng)陳巍在接受電子發(fā)燒友采訪的時(shí)候做了詳細(xì)介紹。

推薦一場(chǎng)會(huì)議。9月14-15日，2023全球AI芯片峰會(huì)將在深圳灣萬(wàn)麗酒店舉行。千芯科技董事長(zhǎng)陳巍博士將在AI大算力芯片專場(chǎng)，發(fā)布主題為《面向大模型部署訓(xùn)練的存算一體架構(gòu)與多處理器融合》的演講。歡迎掃碼報(bào)名~

01.?人如何選擇存儲(chǔ)器類型

千芯科技致力于大算力存算一體芯片技術(shù)的研究，在SRAM、MRAM、RRAM方面都有探索，目前基于SRAM存算一體產(chǎn)品樣卡正在測(cè)試，公司也在與中科院、清華大學(xué)等機(jī)構(gòu)一起優(yōu)化基于RRAM、MRAM存算一體電路的設(shè)計(jì)。

該公司技術(shù)團(tuán)隊(duì)早期接觸過(guò)各類存儲(chǔ)器，陳巍博士10多年前就作為國(guó)家專項(xiàng)課題的技術(shù)負(fù)責(zé)人主持過(guò)當(dāng)時(shí)國(guó)內(nèi)最先進(jìn)的NOR Flash芯片及Memory Compiler（存儲(chǔ)器編譯器）的設(shè)計(jì)研發(fā)，作為負(fù)責(zé)人創(chuàng)建國(guó)內(nèi)首個(gè)3D NAND 閃存設(shè)計(jì)團(tuán)隊(duì)，SRAM、RRAM、MRAM等都接觸了10年以上，有不少這些存儲(chǔ)器的專利。

千芯科技也給這些存儲(chǔ)器做了自己的分類，陳巍強(qiáng)調(diào)，在進(jìn)行存算一體存儲(chǔ)器選擇的時(shí)候，重點(diǎn)還是要看客戶和應(yīng)用需求，根據(jù)實(shí)際應(yīng)用場(chǎng)景來(lái)選擇存儲(chǔ)器比較合適。

圖：存儲(chǔ)器類型，優(yōu)勢(shì)、不足和適用場(chǎng)景（來(lái)自千芯科技）

因?yàn)殡m然都是存算一體，但是從應(yīng)用來(lái)看，有些存算一體需要更偏向于存（Computing Memory），有些更偏向于算（Memory Computing），比如端側(cè)一些語(yǔ)音識(shí)別、人像識(shí)別的場(chǎng)景，對(duì)功耗和成本要求比較高，把AI計(jì)算的部分和存的部分合成一個(gè)器件，能夠有效降低成本。

比如在云計(jì)算領(lǐng)域，這個(gè)領(lǐng)域需要計(jì)算的模型非常大，同時(shí)訓(xùn)練場(chǎng)景下，需要不斷更新數(shù)據(jù)，因此在這樣的應(yīng)用場(chǎng)景下，一些非易失存儲(chǔ)器的讀寫速度，就不如SRAM、DRAM、RRAM好，這些場(chǎng)景更偏向于算，它目前會(huì)傾向于偏向計(jì)算能力的存儲(chǔ)器。

也就是說(shuō)，如果是偏向于低成本，同時(shí)希望待機(jī)功耗更好，可以選擇非易失存儲(chǔ)器，包括Flash、RRAM、MRAM等；如果偏向于大規(guī)模計(jì)算，多數(shù)情況下可以選擇RRAM、SRAM和DRAM。另外具體來(lái)說(shuō)選擇哪種存儲(chǔ)器，還和各家的專利布局綁定有關(guān)。

02.?大算力存算一體芯片設(shè)計(jì)

在自動(dòng)駕駛、數(shù)據(jù)中心等領(lǐng)域，對(duì)大算力的需求比較明顯，因此各家企業(yè)也在大算力存算一體芯片的研發(fā)和推廣上投入精力。在陳巍看來(lái)，目前除了NOR閃存有些受容量限制，上述提到的各類存儲(chǔ)器基本可以用來(lái)做大算力存算一體。

閃存存算方面，目前主要路線是基于NOR flash（不是目前優(yōu)盤所用的閃存類型），多數(shù)情況下存儲(chǔ)容量較小，這使得NOR flash單片算力達(dá)到1 TOPS以上器件代價(jià)較大，通常業(yè)內(nèi)說(shuō)大算力一般是20-100TOPS以上，因此不太好直接做大算力的存算一體。而其他的存儲(chǔ)器，包括SRAM、RRAM等，現(xiàn)在已經(jīng)看到，有實(shí)際產(chǎn)品證明可以是可以用來(lái)做到大算力的存算一體。

在設(shè)計(jì)上，大算力存算一體結(jié)構(gòu)和小算力會(huì)有所不同，據(jù)陳巍介紹，這跟存算一體架構(gòu)里面的計(jì)算架構(gòu)有關(guān)，大算力計(jì)算架構(gòu)和小算力計(jì)算架構(gòu)不一樣，一是大算力的計(jì)算核會(huì)有特別的外圍電路設(shè)計(jì)，來(lái)使它的吞吐能力比小算力更強(qiáng)；二是在整體結(jié)構(gòu)上，大算力有更多核心并聯(lián)，相當(dāng)于多個(gè)小算力整合成一個(gè)大算力，有點(diǎn)類似于GPU的整合方式，因?yàn)镚PU也相當(dāng)于是不同的小算力的核心，整合起來(lái)的架構(gòu)。

雖然說(shuō)都可以做大算力，而基于非易失存儲(chǔ)器，目前做大算力存算一體，也會(huì)遇到一些工藝挑戰(zhàn)，基本上循環(huán)讀寫次數(shù)在十的六到八次方之后，就可能出錯(cuò)，所以到目前為止，國(guó)際上直接用NVM做200Tops以上算力的還較少。

因?yàn)樵诖笏懔?chǎng)景下，它有非常高頻度的讀寫，這樣會(huì)較早的面臨失效的可能，而這個(gè)失效可能會(huì)導(dǎo)致計(jì)算錯(cuò)誤，對(duì)于產(chǎn)品來(lái)說(shuō)，這是必須要做優(yōu)化的，特別是在自動(dòng)駕駛領(lǐng)域，如果遇到這種失效將會(huì)導(dǎo)致車輛失控。

這個(gè)問(wèn)題如何解決呢，陳巍表示，經(jīng)過(guò)與業(yè)內(nèi)專家合作分析，他們認(rèn)為需要從兩方面去做，一是器件的工藝水平需要優(yōu)化，二是做冗余器件設(shè)計(jì)去解決這個(gè)問(wèn)題，目前對(duì)于計(jì)算為主的場(chǎng)景，做冗余器件設(shè)計(jì)，它的性能可能就沒(méi)有先進(jìn)工藝下的SRAM強(qiáng)，做了冗余設(shè)計(jì)之后，它的面積也會(huì)進(jìn)一步提升，這樣成本的優(yōu)勢(shì)可能就會(huì)有一定的降低。

因此總結(jié)來(lái)看，選擇何種存儲(chǔ)器去做大算力存算一體，還是要看場(chǎng)景，看客戶的需求，以及還和器件本身的工藝水平有很大關(guān)系。

03.?模擬和數(shù)字存算一體技術(shù)的差別

可以看到，采用模擬還是數(shù)字的技術(shù)，也是企業(yè)常提到的一點(diǎn)，陳巍介紹，一般跟傳感器連接密切的部分，推薦用模擬存算一體的方式，如果計(jì)算結(jié)構(gòu)復(fù)雜，建議用數(shù)字的，因?yàn)橛媚M結(jié)構(gòu)去做復(fù)雜計(jì)算，代價(jià)比較大，而跟傳感器進(jìn)行結(jié)合的時(shí)候，模擬計(jì)算有它的天然優(yōu)勢(shì)。

所以其實(shí)更多的還是看場(chǎng)景，比如小算力需求，就是做一個(gè)聲音識(shí)別，或者做一個(gè)小規(guī)模的圖像識(shí)別，這時(shí)候用模擬比較合適，如果說(shuō)要做云計(jì)算的大算力，計(jì)算結(jié)構(gòu)又復(fù)雜，目前看采用數(shù)字方式的多些。

上圖是一個(gè)存算一體的陣列，比如憶阻器，里面存入矩陣系數(shù)，或者叫權(quán)重，然后輸入數(shù)據(jù)，也就是輸入不同的電壓，根據(jù)歐姆定律，就會(huì)產(chǎn)生不同的電流，每個(gè)電流匯聚在一起，即相當(dāng)于是電流加和（基爾霍夫定理），就完成了一個(gè)乘積累加運(yùn)算，這是模擬電路完成深度學(xué)習(xí)等各種計(jì)算的基本思路。

簡(jiǎn)單的理解，數(shù)字的方式就是把不同的模擬單元分離開(kāi)，原來(lái)模擬電路，相當(dāng)于是一個(gè)單元存一個(gè)模擬數(shù)值，可能是幾位的，比如8位、或4位位寬，如果變成數(shù)字的方式，相當(dāng)于一個(gè)單元存入一個(gè)數(shù)值，是一個(gè)位寬的。這樣就很明顯，模擬的好處是存儲(chǔ)密度更高，但沒(méi)法直接做復(fù)雜計(jì)算，數(shù)字電路離散性會(huì)更好，更靈活，可以直接做復(fù)雜運(yùn)算。

04.?存算一體技術(shù)的挑戰(zhàn)和未來(lái)

目前而言，存算一體的發(fā)展還存在一些挑戰(zhàn)，陳巍談到兩點(diǎn)：一是生態(tài)建設(shè)，盡管存算一體這個(gè)概念并不是特別新，但是真正進(jìn)入實(shí)用階段的時(shí)間還比較短，特別是通用的編譯生態(tài)環(huán)境還沒(méi)有完全成熟，這樣它在落地上就會(huì)存在一些適配要求，因?yàn)榭蛻魧?duì)生態(tài)都是有要求的，因此急需建立存算一體的生態(tài)。

二是如何更好的滿足客戶的需求，這也是整個(gè)AI芯片落地需要解決的一個(gè)問(wèn)題，企業(yè)需要更多從客戶的需求角度去設(shè)計(jì)產(chǎn)品，對(duì)于客戶來(lái)說(shuō)，可能有很多計(jì)算場(chǎng)景，它其實(shí)不單是需要一個(gè)AI技術(shù)，還需要其他一些復(fù)合的計(jì)算類型，比如語(yǔ)音識(shí)別場(chǎng)景，它除了AI計(jì)算需求之后，還需要語(yǔ)音降噪的算法，這時(shí)候就需要根據(jù)客戶的需求進(jìn)行特定場(chǎng)景的優(yōu)化。

存算一體就技術(shù)的未來(lái)會(huì)怎樣？從兩個(gè)階段來(lái)看，陳巍認(rèn)為，目前基本都處于一個(gè)市場(chǎng)開(kāi)拓期，很多客戶還沒(méi)有完全意識(shí)到存算一體的優(yōu)勢(shì)和價(jià)值，不過(guò)如果市場(chǎng)能夠出現(xiàn)一個(gè)很有影響力的廠商，來(lái)證明存算一體芯片，比傳統(tǒng)馮諾伊曼架構(gòu)AI芯片能力更強(qiáng)，那么很快就會(huì)有很大的突破，預(yù)計(jì)這樣的突破在近期就會(huì)發(fā)生。

從遠(yuǎn)期來(lái)看，存算一體會(huì)和GPU、CPU技術(shù)有很好的結(jié)合，成為CPU、GPU、DPU，或者是其他各種AI芯片的計(jì)算核心，相當(dāng)于現(xiàn)有的存算一體技術(shù)會(huì)給GPU或者CPU賦能，成為現(xiàn)有技術(shù)的計(jì)算核心。

從商用角度來(lái)看，目前國(guó)內(nèi)存算一體芯片至少有兩家量產(chǎn)，估計(jì)今年會(huì)有很多都可以開(kāi)始商用，目前已落地的商用還主要是在端側(cè)可穿戴設(shè)備等領(lǐng)域，一些語(yǔ)音識(shí)別，小的視覺(jué)模型場(chǎng)景集中。

在自動(dòng)駕駛和云計(jì)算領(lǐng)域，云計(jì)算領(lǐng)域的商用預(yù)計(jì)快一點(diǎn)，估計(jì)明后年開(kāi)始就有產(chǎn)品可以逐步進(jìn)入中國(guó)互聯(lián)網(wǎng)大廠，自動(dòng)駕駛領(lǐng)域的商用時(shí)間會(huì)比較長(zhǎng)，因?yàn)樽詣?dòng)駕駛從架構(gòu)設(shè)計(jì)到最后大批量裝車，一般需要五年時(shí)間，如果前面兩年已經(jīng)完成了設(shè)計(jì)、流片，大約還要三年的適配和量產(chǎn)測(cè)試時(shí)間才能實(shí)現(xiàn)大批量落地應(yīng)用。

編輯：黃飛

?