近日，谷歌DeepMind強化學習研究團隊負責人、AlphaGo項目首席研究員Dave Silver在Deep Learning Indaba活動的主題演講中歸納出了強化學習中要注意的10大要點。一起來看看，也許能少走點彎路。

近日，在南非斯泰倫博斯舉行的Deep Learning Indaba活動上，谷歌DeepMind強化學習研究團隊負責人、AlphaGo項目首席研究員Dave Silver在主題演講中歸納出強化學習中要注意的10大要點。

活動主辦方將Dave Silver演講的PPT截圖和文字要點發在了推特上，引發了廣泛討論。

Silver的演講中提出的強化學習10大要點涵蓋涉及算法評估、狀態控制、建模函數等方面的心得和建議，非常值得開發者和機器學習愛好者參考學習。一起看看他是怎么說的吧！

1、在評估中產生進步

客觀、量化的估計會產生進步，對評估尺度的選擇會決定進步的方向。這可能是項目推進過程中做出的最重要的決定。

目標驅動型研究：確認評估標準與最終目標密切相關。避免主觀評估

假設驅動型研究：提出假設，在寬泛的條件下驗證假設，與相似結果對比，而不是與最先進的結果對比。重要的是對結果的理解，而不是追求排名。

2、算法的可擴展性決定是否成功

算法的可擴展性是指其性能隨資源的梯度變化。這里的資源可能是計算、存儲和數據。算法的可擴展性決定了能否項目能否成功，它幾乎永遠比算法的起點重要。最終，好的算法總是無限資源條件下的最優解決方案。

3、穩定算法的通用性

算法通用性是指算法在不同深度學習環境下的表現。應避免對當前任務的過擬合。積極尋求可以適用于未來未知環境下的算法。

結論：要廣泛驗證，建立現實的機器學習環境。

4、 信任智能體的經驗

經驗（包括觀察、動作、獎勵）是指深度學習的數據。信任這些經驗，將其作為唯一知識來源。盡管這些經驗看上去不可學習，但最終長期來看，經驗終將取得成功。

5、狀態是主觀的

智能體應該基于經驗建立自身的狀態，智能體的狀態是關于其先前狀態和新觀察數據的函數。任何時候不要定義某一環境下的“真實”狀態。

6、控制數據流

智能體處于大量數據流傳感器環境中，智能體的行為會對數據流造成影響。

控制特征——控制數據流——控制未來——實現任何回報的最大化。

7、價值函數可以對世界建模

價值函數是對未來的高效歸納和緩存。多關注固定時間段的查找，而非指數級的前瞻。可以獨立計算和學習。利用多價值函數可以在不同時間范圍內，對世界各個方面進行高效建模。

應避免使用原始的時間步長對世界進行建模。

8、從想象的經驗中進行學習

想象接下來會發生什么，從想象的經驗中進行學習，同時關注在當前時刻的值函數估計。

9、加強函數逼近器

差異化網絡架構是一種有力工具，可以用來:以豐富的方式表示狀態，實現差異化存儲、差異化規劃、層級控制。

將算法的復雜性融入網絡架構，可以降低算法的復雜度，增加網絡架構的可表達性。

10、要學習“如何學習”

人工智能的發展史呈現出一條清晰的發展脈絡。

第一代：“美好的”老式人工智能。手動控制預測，不學習任何內容。

第二代：淺度學習。手動控制特征，學習預測。

第三代：深度學習。手動控制算法（優化器、目標、架構），學習特征和端對端預測。

第四代：Meta學習。無手動環節，學習算法、特征和端對端預測。