【AI對算力的需求劇增，芯片是算力的基礎】

AI的三大關鍵基礎要素是 數據、算法和算力 。隨著云計算的廣泛應用，特別是深度學習成為當前AI研究和運用的主流方式，AI對于算力的要求不斷快速提升。隨著邊緣計算的發展，AI在邊緣端的形式越來越多樣化，數量越來越多。

數據是AI算法的“飼料”

在如今這個時代，無時無刻不在產生數據（包括語音、文本、影像等等），AI產業的飛速發展，也萌生了大量垂直領域的數據需求。在AI技術當中，數據相當于AI算法的“飼料”。

目前，數據標注是AI的上游基礎產業，以人工標注為主，機器標注為輔。最常見的數據標注類型有五種：屬性標注（給目標對象打標簽）、框選標注（框選出要識別的對象）、輪廓標注（比框選標注更加具體，邊緣更加精確）、描點標注（標注出目標對象上細致的特征點）、其他標注（除以上標注外的數據標注類型）。AI算法需要通過數據訓練不斷完善，而數據標注是大部分AI算法得以有效運行的關鍵環節。

算法是AI的背后“推手”

AI算法是數據驅動型算法，是AI背后的推動力量。

今天“AI熱潮”的出現主要由于機器學習，尤其是機器學習中的深度學習技術取得了巨大進展，并在大數據和大算力的支持下發揮巨大的威力。

當前最具代表性深度學習算法模型有深度神經網絡（Deep Neural Network，簡稱DNN）、循環神經網絡（Recurrent Neural Network，簡稱RNN）、卷積神經網絡（Convolutional Neural Network，簡稱CNN）。談到深度學習，DNN和RNN就是深度學習的基礎。DNN內部的神經網絡層可以分為三類，輸入層，隱藏層和輸出層, 一般來說第一層是輸入層，最后一層是輸出層，而中間的層數都是隱藏層。DNN可以理解為有很多隱藏層的神經網絡，是非常龐大的系統，訓練出來需要很多數據、很強的算力進行支撐。

算力是基礎設施

AI算法模型對于算力的巨大需求，推動了今天芯片業的發展。據OpenAI測算,2012年開始,全球AI訓練所用的計算量呈現指數增長,平均每3.43個月便會翻一倍,目前計算量已擴大30萬倍,遠超算力增長速度。

在AI技術當中，算力是算法和數據的基礎設施，支撐著算法和數據，進而影響著AI的發展，算力的大小代表著對數據處理能力的強弱。

算力源于芯片，通過基礎軟件的有效組織，最終釋放到終端應用上，作為算力的關鍵基礎，AI芯片的性能決定著AI產業的發展。

AI運算指以“深度學習” 為代表的神經網絡算法，需要系統能夠高效處理大量非結構化數據（ 文本、視頻、圖像、語音等） 。 需要硬件具有高效的線性代數運算能力 ，計算任務具有：單位計算任務簡單，邏輯控制難度要求低，但并行運算量大、參數多的特點。對于芯片的多核并行運算、片上存儲、帶寬、低延時的訪存等提出了較高的需求。

自2012年以來，人工智能訓練任務所需求的算力每 3.43 個月就會翻倍，大大超越了芯片產業長期存在的摩爾定律（每 18個月芯片的性能翻一倍）。針對不同應用場景，AI芯片還應滿足：對主流AI算法框架兼容、可編程、可拓展、低功耗、體積及價格等需求。

【AI芯片包括：GPU、FPGA、ASIC、類腦芯片】

從技術架構來看，AI芯片主要分為圖形處理器（GPU）、現場可編程門陣列（FPGA）、專用集成電路（ASIC）、類腦芯片四大類。其中，GPU是較為成熟的通用型人工智能芯片，FPGA和ASIC則是針對人工智能需求特征的半定制和全定制芯片，類腦芯片顛覆傳統馮諾依曼架構，是一種模擬人腦神經元結構的芯片，類腦芯片的發展尚處于起步階段。

• GPU 通用性強、速度快、效率高，特別適合用在深度學習訓練方面，但是性能功耗比較低。
• FPGA 具有低能耗、高性能以及可編程等特性，相對于 CPU 與 GPU 有明顯的性能或者能耗優勢，但對使用者要求高。
• ASIC 可以更有針對性地進行硬件層次的優化，從而獲得更好的性能、功耗比。但是ASIC 芯片的設計和制造需要大量的資金、較長的研發周期和工程周期，而且深度學習算法仍在快速發展，若深度學習算法發生大的變化，FPGA 能很快改變架構，適應最新的變化，ASIC 類芯片一旦定制則難于進行修改。

CPU (CentralProcessing Unit)能不能算？為什么CPU不能勝任？

中央處理器作為計算機系統的運算和控制核心，是信息處理、程序運行的最終執行單元，CPU 是對計算機的所有硬件資源（如存儲器、輸入輸出單元） 進行控制調配、執行通用運算的核心硬件單元。

優點：CPU有大量的緩存和復雜的邏輯控制單元，非常擅長邏輯控制、串行的運算

缺點：不擅長復雜算法運算和處理并行重復的操作。

對于AI芯片來說，算力最弱的是cpu。雖然cpu主頻最高，但是單顆也就8核,16核的樣子，一個核3.5g,16核也就56g，再考慮指令周期，每秒最多也就30g次乘法。

intel、AMD、還有眾多運用ARM內核的芯片廠家。

1、GPU (GraphicsProcessing Unit)

圖形處理器，又稱顯示核心、視覺處理器、顯示芯片，是一種專門在個人電腦、工作站、游戲機和一些移動設備（如平板電腦、智能手機等）上做圖像和圖形相關運算工作的微處理器。

目前， GPU 已經發展到較為成熟的階段。谷歌、 FACEBOOK、微軟、 Twtter和百度等公司都在使用GPU 分析圖片、視頻和音頻文件，以改進搜索和圖像標簽等應用功能。此外，很多汽車生產商也在使用GPU芯片發展無人駕駛。不僅如此， GPU也被應用于VR/AR 相關的產業。

但是 GPU也有一定的局限性。深度學習算法分為訓練和推斷兩部分， GPU 平臺在算法訓練上非常高效。但在推斷中對于單項輸入進行處理的時候，并行計算的優勢不能完全發揮出來。

優點：提供了多核并行計算的基礎結構，且核心數非常多，可以支撐大量數據的并行計算，擁有更高的浮點運算能力。

缺點：管理控制能力（最弱），功耗（最高）。

生產廠商：NVIDIA（英偉達）、AMD

當前國產GPU產業鏈進口替代：設計環節的一些公司，景嘉微、芯動科技、摩爾線程、沐曦科技等企業正在不斷追趕。

2、FPGA（Field Programmable Gate Array）

FPGA是在PAL、GAL等可編程器件的基礎上進一步發展的產物。它是作為專用集成電路（ASIC）領域中的一種半定制電路而出現的，既解決了定制電路的不足，又克服了原有可編程器件門電路數有限的缺點。

優點：可以無限次編程，延時性比較低，同時擁有流水線并行和數據并行（GPU只有數據并行）、實時性最強、靈活性最高。

FPGA可同時進行數據并行和任務并行計算，在處理特定應用時有更加明顯的效率提升。對于某個特定運算，通用 CPU可能需要多個時鐘周期，而 FPGA 可以通過編程重組電路，直接生成專用電路，僅消耗少量甚至一次時鐘周期就可完成運算。

此外，由于 FPGA的靈活性，很多使用通用處理器或 ASIC難以實現的底層硬件控制操作技術， 利用 FPGA 可以很方便地實現。這個特性為算法的功能實現和優化留出了更大空間。同時FPGA 一次性成本(光刻掩模制作成本)遠低于ASIC，在芯片需求還未成規模、深度學習算法暫未穩定， 需要不斷迭代改進的情況下，利用 FPGA 芯片具備可重構的特性來實現半定制的人工智能芯片是最佳選擇之一。

功耗方面，從體系結構而言， FPGA 也具有天生的優勢。傳統的馮氏結構中，執行單元(如 CPU 核)執行任意指令，都需要有指令存儲器、譯碼器、各種指令的運算器及分支跳轉處理邏輯參與運行， 而FPGA每個邏輯單元的功能在重編程(即燒入)時就已經確定，不需要指令，無需共享內存，從而可以極大的降低單位執行的功耗，提高整體的能耗比。

缺點：開發難度大、只適合定點運算、價格比較昂貴

生產廠商：Altera（Intel收購）、Xilinx（AMD收購）

當前國產FPGA廠家，復旦微、紫光同創、安路等公司。AI應用對FPGA的速率、規模等都有很高的要求，國產廠家還在努力中。

3、ASIC（Application Specific IntegratedCircuit）

ASIC,即專用集成電路，指應特定用戶要求和特定電子系統的需要而設計、制造的集成電路。目前用CPLD（復雜可編程邏輯器件）和 FPGA（現場可編程邏輯陣列）來進行ASIC設計是最為流行的方式之一。

目前以深度學習為代表的人工智能計算需求，主要采用GPU、FPGA等已有的適合并行計算的通用芯片來實現加速。在產業應用沒有大規模興起之時，使用這類已有的通用芯片可以避免專門研發定制芯片(ASIC)的高投入和高風險。但是，由于這類通用芯片設計初衷并非專門針對深度學習，因而天然存在性能、 功耗等方面的局限性。隨著人工智能應用規模的擴大，這類問題日益突顯。

GPU作為圖像處理器， 設計初衷是為了應對圖像處理中的大規模并行計算。因此，在應用于深度學習算法時，有三個方面的局限性：

• 第一：應用過程中無法充分發揮并行計算優勢。 深度學習包含訓練和推斷兩個計算環節， GPU 在深度學習算法訓練上非常高效， 但對于單一輸入進行推斷的場合， 并行度的優勢不能完全發揮。
• 第二：無法靈活配置硬件結構。GPU 采用 SIMT 計算模式， 硬件結構相對固定。目前深度學習算法還未完全穩定，若深度學習算法發生大的變化， GPU 無法像 FPGA 一樣可以靈活的配制硬件結構。
• 第三：運行深度學習算法能效低于FPGA。

盡管 FPGA 倍受看好，甚至類似百度大腦這樣的一些云計算平臺，也是基于 FPGA 平臺研發，但其畢竟不是專門為了適用深度學習算法而研發，實際應用中也存在諸多局限：

• 第一：基本單元的計算能力有限。為了實現可重構特性， FPGA 內部有大量極細粒度的基本單元，但是每個單元的計算能力(主要依靠 LUT 查找表)都遠遠低于 CPU 和 GPU 中的 ALU 模塊。
• 第二：計算資源占比相對較低。 為實現可重構特性， FPGA 內部大量資源被用于可配置的片上路由與連線。
• 第三：速度和功耗相對專用定制芯片(ASIC)仍然存在不小差距。
• 第四，：FPGA 價格較為昂貴。在規模放量的情況下單塊 FPGA 的成本要遠高于專用定制芯片。

因此，隨著人工智能算法和應用技術的日益發展，以及人工智能專用芯片 ASIC產業環境的逐漸成熟， 全定制化人工智能 ASIC也逐步體現出自身的優勢

優點:它作為集成電路技術與特定用戶的整機或系統技術緊密結合的產物，與通用集成電路相比具有體積更小、重量更輕、 功耗更低、可靠性提高、性能提高、保密性增強、成本降低等優點。

缺點：靈活性不夠，通用性不夠。

主要性能指標：功耗、速度、成本