什么是學習？

機器學習和深度學習中都有“學習”兩字，我們首先要理解什么是“學習”。著名的赫伯特·西蒙教授（Herbert Simon）是1975年圖靈獎獲得者、1978年諾貝爾經濟學獎獲得者，這位大牛曾對“學習”下過一個定義“如果一個系統，能夠通過執行某個過程，就此改進了它的性能，那么這個過程就是學習”。大師永遠都是言簡意賅，一針見血，我們從西蒙教授下的定義可以看出“學習的核心目的就是改善性能”。

其實不僅僅是對于機器，對于人而言這個定義也是適用的。我們從小就被教育要“好好學習，天天向上”，我們“學習”的目標是為了“向上”，如果沒有性能上的“向上”，即使非常辛苦地“好好”，即使長時間地“天天”，都無法算作“學習”。如果我們僅僅是低層次的重復性學習，而沒有達到認知升級的目的，那么即使表面看起來非常勤奮，其實也只是一個“偽學習者”，因為我們沒有改善性能。

下面我們就一起繼續“好好學習”機器學習和深度學習的知識，我們目的就是為了提升自己在機器學習和深度學習上的認知水平。

2、人工智能、機器學習、和深度學習是什么關系？

先拋出結論，機器學習（Machine Learning，ML）是人工智能（Artificial Intelligence，AI）的一個分支，深度學習（Deep Learning，DL）是ML中的一個子集，或者說，機器學習是實現人工智能的一種方法，而深度學習僅僅是實現機器學習的一種技術。

下面我們來仔仔細細“學習”一下AI、ML、DL這三個概念

（1）人工智能：AI表示機器模仿人類通常表現出的智能行為的任何活動，這是一個非常大的研究領域，機器旨在復制認知能力，例如學習行為、與環境的主動交互、推理和演繹、計算機視覺、語音識別、問題求解、知識表示和感知；AI建立在計算機科學、數學和統計學以及心理學和其他研究人類行為的科學的基礎上。建立AI有多種策略，在20世紀70年代和20世紀80年代，“專家”系統變得非常流行，這些系統的目標是通過用大量手動定義的if-then規則表示知識來解決復雜的問題，這種方法適用于非常特定的領域中的小問題，但無法擴展到較大的問題和多領域中，后來AI也在不斷的改進，越來越關注基于統計的方法。

（2）機器學習：ML是AI的一個子學科，專注于教授計算機如何對特定任務進行學習而無須編程，ML背后的關鍵思想是可以創建從數據中學習并做出預測的算法。機器學習也分好多種，我們向大家介紹一下有監督學習，無監督學習，增強學習這幾種。

有監督學習，向機器提供輸入數據及期望輸出，目的是從這些訓練實例中學習，以使機器可以對從未見過的數據做出有意義的預測。

無監督學習，僅向機器提供輸入數據，機器隨后必須自己尋找一些有意義的結構，而無須外部監督或輸入。

增強學習，機器充當代理，與環境交互。如果機器的行為符合要求，就會有“獎勵”；否則，就會受到“懲罰”，機器試圖通過學習相應地發展其行為來最大化獎勵。

（3）深度學習：DL也是機器學習的一個子集，深度學習與傳統的監督學習和無監督學習是有區分的，深度學習是高度數據依賴型的算法，它的性能通常是隨著數據量的增加而不斷增強的，也就是說深度學習的可擴展性顯著優于傳統的機器學習算法，但前提是有足夠多、足夠好的數據。

3、機器學習和深度學習的發展經過了哪幾個階段？ 如前文討論的，作為人工智能的重要分支，機器學習主要研究的是如何使機器通過識別和利用現有知識來獲取新知識和新技能。自20世紀80年代以來，機器學習已經在算法、理論和應用等方面都取得巨大成功，而被廣泛應用于產業界與學術界。簡單來說，機器學習就是通過算法使得機器能從大量歷史數據中學習規律，從而對新的樣本完成智能識別或對未來做預測；而深度學習是機器學習的一個分支和新的研究領域。如今在大數據的背景下可用數據量的激增、計算能力的增強以及計算成本的降低為深度學習的進一步發展提供了平臺，同時也為深度學習在各大領域中的應用提供了支撐。 回顧歷史機器學習的發展歷程大致可以分為五個時期，而伴隨著機器學習的發展，深度學習共出現三次浪潮。我們以機器學習的發展作為主線來介紹不同時期機器學習與深度學習之間的關系。

第一個時期從20世紀50年代持續至20世紀70年代，由于在此期間研究人員致力于用數學證明機器學習的合理性，因此稱之為“推理期”。在此期間深度學習的雛形出現在控制論中，隨著生物學習理論的發展與第一個模型的實現（感知機，1958年），其能實現單個神經元的訓練，這是深度學習的第一次浪潮。

第二個時期從20世紀70年代持續至20世紀80年代，由于在這個階段機器學習專家認為機器學習就是讓機器獲取知識，因此稱之為“知識期”，在此期間深度學習主要表現在機器學習中基于神經網絡的連接主義。

第三個時期從20世紀80年代持續至20世紀90年代，這個時期的機器學習專家主張讓機器“主動”學習，即從樣例中學習知識，代表性成果包括決策樹和BP神經網絡，因此稱這個時期為“學習期”。在此期間深度學習仍然表現為基于神經網絡的連接主義，而其中BP神經網絡的提出為深度學習帶來了第二次浪潮。其實在此期間就存在很好的算法，但由于數據量以及計算能力的限制致使這些算法的良好效果并沒有展現出來。

第四個時期從20世紀初持續至21世紀初，這時的研究者們開始嘗試用統計的方法分析并預測數據的分布，因此稱這個時期為“統計期”，這個階段提出了代表性的算法“支持向量機”，而此時的深度學習仍然停留在第二次浪潮中。

第五個時期從20世紀初持續至今，神經網絡再一次被機器學習專家重視，2006年Hinton及其學生Salakhutdinov發表的論文《Reducing the Dimensionality of Data with Neural Networks》標志著深度學習的正式復興，該時期掀起深度學習的第三次浪潮，同時在機器學習的發展階段中被稱為“深度學習”時期。此時，深度神經網絡已經優于與之競爭的基于其他機器學習的技術以及手工設計功能的AI系統。而在此之后，伴隨著數據量的爆炸式增長與計算能力的與日俱增，深度學習得到了進一步的發展。

機器學習和深度學習發展的漫漫長路

審核編輯：郭婷