1. 深度學習的發(fā)展歷史

　　第一階段：從BP神經(jīng)網(wǎng)絡算法的出現(xiàn)（1970-1980）到2006年這幾十年的時間里；由于ＢＰ神經(jīng)網(wǎng)絡算法的出現(xiàn)，神經(jīng)網(wǎng)絡的訓練成為現(xiàn)實［3］。由于這段時間神經(jīng)網(wǎng)絡模型出現(xiàn)了許多問題，而被學術界和主流的計算機視覺所詬病，只有為數(shù)不多的科學家仍不懈地堅持。出現(xiàn)的問題如下所示：

　　1） 數(shù)據(jù)難以挖掘。由于缺乏大量有必備的數(shù)據(jù)，有監(jiān)督訓練深度神經(jīng)網(wǎng)絡的方法沒有充足的數(shù)據(jù)樣本以至于擬合不了復雜網(wǎng)絡模型的參數(shù)，極易出現(xiàn)擬合過度的現(xiàn)象，對比隨機森林、支持向量機［4］等當時比較流行的淺層學習方法，BP神經(jīng)網(wǎng)絡不能有效地解決當前的困境，因而沒有被廣泛應用。

　　2） 局部最優(yōu)缺陷。在進行深度神經(jīng)網(wǎng)絡訓練時，由于存在各種極值問題，可能會陷入局部最優(yōu)的陷阱，從而導致梯度下降法不能最大限度的發(fā)揮其作用。

　　3） 梯度彌散缺陷。當網(wǎng)絡訓練深度增加時，反向傳播梯度幅度值將驟減，因此更新也會變得非常緩慢，樣本也將不能實現(xiàn)有效學習［5］。我們通常把這種缺陷稱為“梯度彌散”，“梯度彌散”是使深度學習發(fā)展緩慢的關鍵因素。

　　4） 硬件難以支持。深度神經(jīng)網(wǎng)絡的訓練對計算機硬件要求很高，除此之外還有反向傳播過程以及大量樣本數(shù)據(jù)的學習［6］。他們要求計算機要有足夠大的內存和主頻。而后隨著計算機內存容量的擴大，還有GPU并行計算發(fā)展，深度學習越來越貼近現(xiàn)實［7］。

　　5） 淺層學習的作用凸顯。由于多層感知機算法、支持向量機、隨機森林等淺層學習算法地迅速發(fā)展［8］，而且在社會生活中發(fā)揮著明顯的作用，使深度神經(jīng)網(wǎng)絡逐漸淡出人們的視野。

　　第二階段：從2006年到2012年，深度學習發(fā)展迅猛，這個階段是主要以無監(jiān)督深度學習的研究階段。2006年，無監(jiān)督深度置信網(wǎng)絡訓練方法首先由深度學習創(chuàng)始人Hinton提出，并以此拉開了深度學習學習熱潮、以至于人工智能發(fā)展熱潮的序幕［9］；

　　第三階段：從2012年至今，深度學習被廣泛應用于社會各個領域，其突出表

　　現(xiàn)在人工智能的推廣。2012年，在Hinton的帶領下，其團隊創(chuàng)建的Alexnet模型在ImageNet大賽中獲得驕人的成績，模型的準確率無與倫比，計算機領域大師們的目光都聚焦在這場大賽上［10］。隨后深度學習的發(fā)展浪潮一發(fā)不可收。當前各個互聯(lián)網(wǎng)公司都蜂擁擠入對深度學習研究的行列之中，其中最具代表性企業(yè)如：百度、微軟、谷歌，他們在翻譯、圖像檢索、語音識別等領域都使用了深度學習，并因此收效顯著。2012年6月，谷歌Google Brain計劃被曝光，Google Brain計劃項目由世界計算機系統(tǒng)頂尖專家 Jeff Dean 和來自斯坦福大學機器學習的教授 AndrewNg一起負責，該項目是為了訓練一種被稱作“深度神經(jīng)網(wǎng)絡”（Deep Neural Networks，DNN）機器學習的模型，他們利用16000個CPU Core并行計算的平臺開展該項目，并因此在圖像識別和語音識別等人工智能領域獲得了輝煌的［11］。2013年1月，百度研究院被高調宣布創(chuàng)立，而百度研究院中居于首位的是深度學習研究所（Idl，Institute Of Deep Learning）［12］。
??
? ? ? ??