作者：Wenbo Yin，TetraMem公司IC設計副總

簡介

人工智能在越來越多的硬件應用中快速發展，推動了對傳統馮·諾依曼架構無法滿足專業計算加速的前所未有的需求。在眾多競爭性替代方案中，最有前景的一種方案是模擬存內運算（In-Memory Computing, IMC）。釋放多級阻變存儲器（RRAM）的潛力，讓這一承諾在今天比以往更加真實，硅谷新創公司TetraMem引領這一發展，正在解決阻礙這一解決方案發展的根本挑戰。該公司的獨特IMC采用多級RRAM技術，提供更高效、低延遲的AI處理，滿足AR/VR、移動設備、物聯網等現代應用不斷增長的需求。

半導體產業背景

過去幾十年來，半導體產業取得了顯著進步，特別是在滿足人工智能和機器學習不斷增長的需求方面。芯片設計的創新突破了性能和效率的界限，然而，一些固有的持續挑戰仍然存在，例如馮·諾依曼瓶頸和存儲墻（memory wall），限制了CPU和內存之間的數據傳輸速率，以及與先進節點技術相關的不斷升級的功耗和熱管理問題。

IMC代表了一種突破性的計算方法轉變，改變了數據處理的方式。傳統的運算架構將存儲和處理單元分開，產生大量的數據傳輸負擔，特別是對于以數據為中心的人工智能應用程序。另一方面，IMC將存儲器和處理器整合在同一實體中，通過交叉陣列架構實現更快、更高效的數據運算，進一步消除矩陣運算中的大量中間數據。這種方法對于大規模數據處理和實時分析至關重要的人工智能和機器學習應用特別有益。

為IMC選擇合適的存儲設備至關重要，SRAM和DRAM等傳統存儲技術由于其設備和單元限制及其易失性特性，并未針對存儲中操作進行優化。RRAM憑借其高密度、多級功能和非揮發性以及卓越的保持能力，無需刷新即可克服這些挑戰。RRAM的工作原理是通過控制電壓或電流來調整存儲單元的電阻變化，模仿人類大腦中突觸的行為，這一功能使RRAM特別適合模擬IMC。

TetraMem專注于多級RRAM（阻變存儲器）技術，與傳統的單級單元存儲技術相比，該技術具有多種優勢。RRAM能夠在每個單元中存儲多個比特，并在原地執行高效的矩陣乘法運算，這使其成為IMC的理想選擇。該技術解決了傳統數字運算的許多限制，例如帶寬限制和能效不足等問題。

RRAM可編程電路設備會記住其最后的穩定電阻值，此電阻值可以通過施加電壓或電流來調節，施加在設備上的電壓和電流的大小和方向變化會改變其導電性，從而改變其電阻值。類似人類神經元的功能，這種機制有多種應用：存儲、模擬神經元，以及TetraMem的存內運算IMC。RRAM的操作由離子驅動，通過控制導電絲的尺寸、離子濃度和高度，可以精確實現不同的單元電阻多級變化。

數據在與存儲相同的實體中進行處理，中間數據移動和存儲最少，從而實現低功耗。通過具有設備級顆粒內核的交叉陣列架構進行大規模并行運算可產生高吞吐量。通過物理定律（歐姆定律和基爾霍夫電流定律）進行運算，確保低延遲。TetraMem的非易失性存內運算單元相比傳統的數字馮·諾依曼架構可大幅降低功耗。

顯著成就

TetraMem在RRAM技術的發展中取得了重要的里程碑。值得注意的是，該公司展示了一個前所未有的設備，每個單元具有11位，在單個設備中實現了2000多個信息等級，這一精度水平代表了存內運算IMC技術的重大突破。

近期在Nature和Science等著名期刊上發表的文章強調了TetraMem的創新方法。提高單元噪聲性能和增強多級信息IMC運算技術是其重要的進展領域。例如，TetraMem開發了專有算法來抑制隨機電報噪聲（telegraph noise），從而使RRAM單元具有更優越的記憶保持和耐久性特征。

存內運算（IMC）的運作

TetraMem的IMC技術采用交叉架構，其中陣列中的每個交點對應于一個可編程的RRAM存儲單元。這種配置允許高度并行操作，這對神經網絡計算至關重要。在向量矩陣乘法（Vector-Matrix Multiplication, VMM）操作期間，輸入信號會應用于交叉開關陣列，計算結果被收集到位線（bit lines）上。這種方法大大減少了在存儲和處理單元之間傳輸數據的需求，從而提高了計算效率。

實際應用

TetraMem通過商業晶圓廠制造的首款評估SoC，MX100芯片展示了其IMC技術的實際應用。該芯片已在多個芯片內演示中展示了其能力，展示了其在現實場景中的功能。一個值得注意的演示是瞳孔中心網絡（Pupil Center Net, PCN），展示了該芯片在AR/VR中的應用，用于自動駕駛車輛中的面部追蹤和身份驗證監控。

為了促進其技術的采用，TetraMem提供了全面的軟件開發套件（Software Development Kit, SDK）。此SDK使開發者能夠無縫地定義邊緣AI模型。此外，與Andes晶心科技的NX27V RISC-V CPU及其向量擴展功能的整合簡化了操作，讓客戶更輕松地將TetraMem的解決方案部署到其產品中。

TetraMem的IMC設計非常適合矩陣乘法，但在向量或標量運算等其他功能上的效率不高。這些運算在神經網絡中經常使用，為了支持這些功能，Andes晶心科技提供了CPU加向量引擎的靈活性，并擁有現有的SoC參考設計以及成熟的編譯器和函數庫，以加快我們的市場推廣時間。

TetraMem與Andes晶心科技合作，將其IMC技術與Andes晶心的RISC-V CPU和向量擴展集成在一起。這一合作提升了整體系統性能，為各種AI任務提供了強大的平臺。結合的解決方案充分利用了兩家公司優勢，提供了一個靈活且高效的架構。

展望未來，TetraMem準備推出基于22nm技術的MX200芯片，這款芯片承諾將提供更大的性能和效率。該芯片專為邊緣推理應用而設計，提供低功耗、低延遲的AI處理。MX200預計將開拓新的市場機會，特別是在能源效率至關重要的電池供電的人工智能設備中。

結論

TetraMem在IMC方面的進展代表了AI硬件領域的一次重大飛躍。通過解決傳統計算的基本挑戰，TetraMem正在為更高效和可擴展的AI解決方案鋪平道路。隨著公司不斷創新并與Andes晶心科技等行業領導者合作，AI處理的未來看起來充滿希望。TetraMem的解決方案不僅提升了性能，還降低了采用尖端AI技術的門檻。