電子發燒友網報道(文/李寧遠)近日,韓國政府擬與AI芯片、云計算企業聯合,組建團隊研發高算力、低能耗的神經網絡處理器NPU推理芯片。這一舉措的目的是與英偉達競爭并避開英偉達主導的圖形處理單元GPU市場。
自OpenAI旗下的智能聊天機器人程序ChatGPT去年年末發布后,全球掀起了一波人工智能熱潮,熱度持續至今。ChatGPT超出人們預期的智能化表現掀起了人工智能領域的技術革命。這一場生成式人工智能熱潮催生了海量的數據,處理海量的數據離不開背后龐大的基礎算力作為支撐。
CPU、GPU和DPU作為人們熟知的人工智能場景中重要的算力芯片,能夠為高帶寬、低延遲、數據密集的計算場景提供計算引擎,是未來處理超算流量和安全網絡存儲的核心硬件。而神經網絡處理器NPU作為一種專門用于進行深度學習計算的芯片,在大算力應用場景的應用優勢也正被業界廣泛看好。
NPU,為深度學習計算而生
早在2011年,Google就已經提出了利用大規模神經網絡進行圖像識別的技術,由于深度學習計算需要大量的計算資源和算力支持,此時傳統的CPU和GPU并不能完全滿足這種需求,因此NPU應運而生。
設計NPU的目的就是為了進行深度學習計算,其特點是具有極高的計算效率和能耗效率,能夠運行多個并行線程在短時間內完成大規模的神經網絡計算任務。NPU的計算單元通常采用矩陣計算、向量計算等方式以保證快速完成計算任務。
同時為了計算單元快速處理數據,其存儲通常采用高速緩存和顯存的結合方式,方便更快地存取和讀取數據。這種設計在降低計算延遲和提高復雜計算任務穩定性有著很明顯的幫助。
NPU和TPU、BPU這些AI芯片一樣,同屬于ASIC專用集成電路,是為特定應用場景(如NPU的神經網絡和深度學習場景)而設計的定制芯片,其開發成本高且周期長,但在性能和功耗上優于同時期的GPU和FPGA。
傳統的ASIC在開發完成后是不能更改的,這一點上NPU還是略有差異,NPU一般會具有一定的可編程性,可以通過更改配置適配不同的計算任務,所以其日后的應用空間也遠不止局限于深度學習模型。
NPU這種專用芯片在特定的人工智能需求下提供了一種提升算力和能效比的新思路。雖然GPU已經針對AI算法加強了并行計算單元,但NPU更容易從高規律性的深度神經網絡中獲益,短時間內完成大規模的神經網絡計算任務。
在ChatGPT拉高算力需求的背景推動下,NPU開始進入發展快車道。
大模型需求推動NPU產業發展
目前,國內人工智能芯片行業里GPU仍然是首選,根據IDC的數據,GPU占有90%以上的市場份額,而NPU、FPGA和其他ASIC等非GPU芯片占有的市場份額相對較少,整體市場份額接近10%,其中NPU的占比為6.3%。
在這條新賽道上,還沒有哪一家廠商成為巨頭主導市場,韓國政府與AI芯片、云計算企業聯合發展高算力、低能耗的NPU也正是為了避開了英偉達主導的GPU市場,開辟一條新的增強AI芯片實力的道路。
今年4月已有韓媒BusinessKorea報道,三星半導體已成功量產采用三星14nm制程工藝第一代WarBoy NPU芯片,速度可以達到普通GPU的十倍,預計不久后投入市場,同時第二代WarBoy NPU芯片預計采用5nm工藝,明年或可推出。
國內NPU行業也是潛力十足,不同于CPU、GPU國內起步較慢,國內芯片設計公司在NPU這條賽道的起步時間不晚,已經有不少相關產品量產并推出應用。
華為海思自研的Da Vinci架構昇騰NPU已經在移動端AI計算領域中嶄露頭角,張量化的立體運算單元提供了業界領先的量化精度,在移動端AI計算中用于圖像識別、語音識別、AR SLAM等應用大幅提升了運算速度。
紫光展銳的NPU也在旗下多顆SoC中搭載,采用新一代高能效NPU+VDSP架構,垂直優化計算能力,其中NPU算力達到8TOPS,相比上一代提升67%,支持圖像超分、視頻增強、語義分割、目標檢測、文本識別等AI應用。
阿里的含光NPU也是用了自研的硬件架構,集成了達摩院先進算法,針對CNN及視覺類算法深度優化計算、存儲密度。國科微的NPU芯片同樣自主自研,目前相關產品正在落地,今年會擇機發布嵌入自研NPU、帶算力的相關產品。
寒武紀的NPU也是國內很早進入NPU賽道的玩家,目前NPU產品主要包括寒武紀1A、寒武紀1H、寒武紀1M等,其IP指令集已擴大范圍授權集成到手機、安防、可穿戴設備等各類終端芯片中,整體性能上與國外廠商比肩。
芯原股份的Vivante NPU IP也已經應用于百款人工智能芯片中,不僅可滿足多種芯片尺寸和功耗預算還可以結合芯原自有的其他處理器IP。同時芯原還將自有的GPU和NPU原生耦合,利用芯原獨有的FLEXA低功耗低延遲同步接口通信技術,實現二者的高效協同計算和并行處理。
還有不少國內廠商在NPU已有建樹,如中星微的VC0616 NPU、OPPO的自研NPU MariSilicon X、瑞芯微的自研NPU、愛芯元智的Neutron NPU等等。
?
未來NPU如何發展?
NPU作為一種專門針對深度神經網絡計算的硬件器件,隨著深度學習技術的不斷發展,越來越多的算法模型加入,NPU 的多樣化肯定會越來越重要。目前NPU在圖像識別、自然語言處理以及傳感器數據處理上所展現出的強大計算性能,已經從IoT、消費電子領域開始向汽車自動駕駛領域等更廣泛多樣的場景延伸應用。
另一個發展趨勢則是獨立化,目前大多數NPU都需要與其他CPU/GPU等配合使用才能完成整個計算任務,對其他芯片的依賴度較高。未來NPU集成度進一步提高,能獨立完成計算任務后其應用空間將更為廣闊。
寫在最后
NPU的誕生就是為了應對深度神經計算,在ChatGPT將算力需求再推上一個新臺階后,NPU芯片顯著的能耗節約優勢和高效的計算效率在算力需求愈發凸顯的當下已經顯露了不少發展機遇,在市場需求的推動下相關產業發展也開始加速。
和其他AI芯片相比,NPU依賴定制化,國內廠商在這一方面很有優勢。在這個賽道上,可以預見競爭會越來越激烈,不過市場還沒有被巨頭壟斷,國內廠商空間更大,可以爭奪的生態位更多,國內廠商在這一細分AI芯片領域前景可期。
自OpenAI旗下的智能聊天機器人程序ChatGPT去年年末發布后,全球掀起了一波人工智能熱潮,熱度持續至今。ChatGPT超出人們預期的智能化表現掀起了人工智能領域的技術革命。這一場生成式人工智能熱潮催生了海量的數據,處理海量的數據離不開背后龐大的基礎算力作為支撐。
CPU、GPU和DPU作為人們熟知的人工智能場景中重要的算力芯片,能夠為高帶寬、低延遲、數據密集的計算場景提供計算引擎,是未來處理超算流量和安全網絡存儲的核心硬件。而神經網絡處理器NPU作為一種專門用于進行深度學習計算的芯片,在大算力應用場景的應用優勢也正被業界廣泛看好。
NPU,為深度學習計算而生
早在2011年,Google就已經提出了利用大規模神經網絡進行圖像識別的技術,由于深度學習計算需要大量的計算資源和算力支持,此時傳統的CPU和GPU并不能完全滿足這種需求,因此NPU應運而生。
設計NPU的目的就是為了進行深度學習計算,其特點是具有極高的計算效率和能耗效率,能夠運行多個并行線程在短時間內完成大規模的神經網絡計算任務。NPU的計算單元通常采用矩陣計算、向量計算等方式以保證快速完成計算任務。
同時為了計算單元快速處理數據,其存儲通常采用高速緩存和顯存的結合方式,方便更快地存取和讀取數據。這種設計在降低計算延遲和提高復雜計算任務穩定性有著很明顯的幫助。
NPU和TPU、BPU這些AI芯片一樣,同屬于ASIC專用集成電路,是為特定應用場景(如NPU的神經網絡和深度學習場景)而設計的定制芯片,其開發成本高且周期長,但在性能和功耗上優于同時期的GPU和FPGA。
傳統的ASIC在開發完成后是不能更改的,這一點上NPU還是略有差異,NPU一般會具有一定的可編程性,可以通過更改配置適配不同的計算任務,所以其日后的應用空間也遠不止局限于深度學習模型。
NPU這種專用芯片在特定的人工智能需求下提供了一種提升算力和能效比的新思路。雖然GPU已經針對AI算法加強了并行計算單元,但NPU更容易從高規律性的深度神經網絡中獲益,短時間內完成大規模的神經網絡計算任務。
在ChatGPT拉高算力需求的背景推動下,NPU開始進入發展快車道。
大模型需求推動NPU產業發展
目前,國內人工智能芯片行業里GPU仍然是首選,根據IDC的數據,GPU占有90%以上的市場份額,而NPU、FPGA和其他ASIC等非GPU芯片占有的市場份額相對較少,整體市場份額接近10%,其中NPU的占比為6.3%。
在這條新賽道上,還沒有哪一家廠商成為巨頭主導市場,韓國政府與AI芯片、云計算企業聯合發展高算力、低能耗的NPU也正是為了避開了英偉達主導的GPU市場,開辟一條新的增強AI芯片實力的道路。
今年4月已有韓媒BusinessKorea報道,三星半導體已成功量產采用三星14nm制程工藝第一代WarBoy NPU芯片,速度可以達到普通GPU的十倍,預計不久后投入市場,同時第二代WarBoy NPU芯片預計采用5nm工藝,明年或可推出。
國內NPU行業也是潛力十足,不同于CPU、GPU國內起步較慢,國內芯片設計公司在NPU這條賽道的起步時間不晚,已經有不少相關產品量產并推出應用。
華為海思自研的Da Vinci架構昇騰NPU已經在移動端AI計算領域中嶄露頭角,張量化的立體運算單元提供了業界領先的量化精度,在移動端AI計算中用于圖像識別、語音識別、AR SLAM等應用大幅提升了運算速度。
紫光展銳的NPU也在旗下多顆SoC中搭載,采用新一代高能效NPU+VDSP架構,垂直優化計算能力,其中NPU算力達到8TOPS,相比上一代提升67%,支持圖像超分、視頻增強、語義分割、目標檢測、文本識別等AI應用。
阿里的含光NPU也是用了自研的硬件架構,集成了達摩院先進算法,針對CNN及視覺類算法深度優化計算、存儲密度。國科微的NPU芯片同樣自主自研,目前相關產品正在落地,今年會擇機發布嵌入自研NPU、帶算力的相關產品。
寒武紀的NPU也是國內很早進入NPU賽道的玩家,目前NPU產品主要包括寒武紀1A、寒武紀1H、寒武紀1M等,其IP指令集已擴大范圍授權集成到手機、安防、可穿戴設備等各類終端芯片中,整體性能上與國外廠商比肩。
芯原股份的Vivante NPU IP也已經應用于百款人工智能芯片中,不僅可滿足多種芯片尺寸和功耗預算還可以結合芯原自有的其他處理器IP。同時芯原還將自有的GPU和NPU原生耦合,利用芯原獨有的FLEXA低功耗低延遲同步接口通信技術,實現二者的高效協同計算和并行處理。
還有不少國內廠商在NPU已有建樹,如中星微的VC0616 NPU、OPPO的自研NPU MariSilicon X、瑞芯微的自研NPU、愛芯元智的Neutron NPU等等。
?
未來NPU如何發展?
NPU作為一種專門針對深度神經網絡計算的硬件器件,隨著深度學習技術的不斷發展,越來越多的算法模型加入,NPU 的多樣化肯定會越來越重要。目前NPU在圖像識別、自然語言處理以及傳感器數據處理上所展現出的強大計算性能,已經從IoT、消費電子領域開始向汽車自動駕駛領域等更廣泛多樣的場景延伸應用。
另一個發展趨勢則是獨立化,目前大多數NPU都需要與其他CPU/GPU等配合使用才能完成整個計算任務,對其他芯片的依賴度較高。未來NPU集成度進一步提高,能獨立完成計算任務后其應用空間將更為廣闊。
寫在最后
NPU的誕生就是為了應對深度神經計算,在ChatGPT將算力需求再推上一個新臺階后,NPU芯片顯著的能耗節約優勢和高效的計算效率在算力需求愈發凸顯的當下已經顯露了不少發展機遇,在市場需求的推動下相關產業發展也開始加速。
和其他AI芯片相比,NPU依賴定制化,國內廠商在這一方面很有優勢。在這個賽道上,可以預見競爭會越來越激烈,不過市場還沒有被巨頭壟斷,國內廠商空間更大,可以爭奪的生態位更多,國內廠商在這一細分AI芯片領域前景可期。
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。
舉報投訴
-
AI
+關注
關注
87文章
31155瀏覽量
269494 -
NPU
+關注
關注
2文章
286瀏覽量
18662
發布評論請先 登錄
相關推薦
【「算力芯片 | 高性能 CPU/GPU/NPU 微架構分析」閱讀體驗】--全書概覽
、GPU、NPU,給我們剖析了算力芯片的微架構。書中有對芯片方案商處理器的講解,理論聯系實際,使
發表于 10-15 22:08
名單公布!【書籍評測活動NO.43】 算力芯片 | 高性能 CPU/GPU/NPU 微架構分析
力,在全球范圍內,對于推動科技進步、經濟發展及社會整體的運作具有至關重要的作用。隨著信息技術的高速發展,高性能計算(HPC)和人工智能(AI
發表于 09-02 10:09
RISC-V在中國的發展機遇有哪些場景?
聯網市場的重要參與者,擁有龐大的用戶基數和豐富的應用場景。RISC-V在中國的發展將受益于這一市場需求的增長。
2. 人工智能(AI)
AI
發表于 07-29 17:14
pytorch中有神經網絡模型嗎
處理、語音識別等領域取得了顯著的成果。PyTorch是一個開源的深度學習框架,由Facebook的AI研究團隊開發。它以其易用性、靈活性和高效性而受到廣泛歡迎。在PyTorch中,有許多預訓練的神經網絡
rnn是什么神經網絡模型
RNN(Recurrent Neural Network,循環神經網絡)是一種具有循環結構的神經網絡模型,它能夠處理序列數據,并對序列中的元素進行建模。RNN在自然語言
人工神經網絡模型的分類有哪些
人工神經網絡(Artificial Neural Networks, ANNs)是一種模擬人腦神經元網絡的計算模型,它在許多領域,如圖像識別、語音識別、自然語言處理、預測分析等有著廣泛
神經網絡芯片與傳統芯片的區別和聯系
引言 隨著人工智能技術的快速發展,深度學習算法在圖像識別、自然語言處理、語音識別等領域取得了顯著的成果。然而,深度學習算法對計算資源的需求非常高,傳統的計算芯片已經無法滿足其
生成式AI與神經網絡模型的區別和聯系
生成式AI與神經網絡模型是現代人工智能領域的兩個核心概念,它們在推動技術進步和應用拓展方面發揮著至關重要的作用。本文將詳細探討生成式AI與
數學建模神經網絡模型的優缺點有哪些
數學建模神經網絡模型是一種基于人工神經網絡的數學建模方法,它通過模擬人腦神經元的連接和信息傳遞機制,對復雜系統進行建模和分析。神經網絡
基于神經網絡算法的模型構建方法
神經網絡是一種強大的機器學習算法,廣泛應用于各種領域,如圖像識別、自然語言處理、語音識別等。本文詳細介紹了基于神經網絡算法的模型構建方法,包括數據預
人工神經網絡的模型及其應用有哪些
,人工神經網絡已經發展成為機器學習和人工智能領域的重要技術之一。本文將詳細介紹人工神經網絡的模型及其應用。 引言 人工神經網絡是一種模擬人腦
評論