在作為人工智能核心技術(shù)的機器學習領(lǐng)域, 強化學習是一類強調(diào)機器在與環(huán)境的交互過程中進行學習的方法, 其重要分支之一的自適應(yīng)評判技術(shù)與動態(tài)規(guī)劃及最優(yōu)化設(shè)計密切相關(guān). 為了有效地求解復(fù)雜動態(tài)系統(tǒng)的優(yōu)化控制問題, 結(jié)合自適應(yīng)評判, 動態(tài)規(guī)劃和人工神經(jīng)網(wǎng)絡(luò)產(chǎn)生的自適應(yīng)動態(tài)規(guī)劃方法已經(jīng)得到廣泛關(guān)注, 特別在考慮不確定因素和外部擾動時的魯棒自適應(yīng)評判控制方面取得了很大進展, 并被認為是構(gòu)建智能學習系統(tǒng)和實現(xiàn)真正類腦智能的必要途徑. 本文對基于智能學習的魯棒自適應(yīng)評判控制理論與主要方法進行梳理, 包括自學習魯棒鎮(zhèn)定, 自適應(yīng)軌跡跟蹤, 事件驅(qū)動魯棒控制, 以及自適應(yīng)H-infinity控制設(shè)計等,并涵蓋關(guān)于自適應(yīng)評判系統(tǒng)穩(wěn)定性, 收斂性, 最優(yōu)性以及魯棒性的分析. 同時, 結(jié)合人工智能, 大數(shù)據(jù), 深度學習和知識自動化等新技術(shù), 也對魯棒自適應(yīng)評判控制的發(fā)展前景進行探討.

利用自適應(yīng)動態(tài)規(guī)劃方法進行智能優(yōu)化決策的基礎(chǔ)是最優(yōu)控制設(shè)計. 關(guān)于線性系統(tǒng)的最優(yōu)調(diào)節(jié)器設(shè)計, 在控制理論和控制工程界已經(jīng)有很多成熟的方法. 然而, 對于一般的非線性系統(tǒng), 獲得Hamilton-Jacobi-Bellman方程的解析解并不是一件容易的事情. 此類系統(tǒng)的最優(yōu)控制設(shè)計相當困難, 但是卻相當重要, 因此引起了人們的廣泛重視. 簡單來說, 自適應(yīng)動態(tài)規(guī)劃是一種基于智能學習思想的新興方法, 可以為復(fù)雜動態(tài)系統(tǒng)提供有效的優(yōu)化控制解決方案. 在過去的二十年中, 自適應(yīng)動態(tài)規(guī)劃在求解離散時間和連續(xù)時間系統(tǒng)的自適應(yīng)最優(yōu)控制問題中得到了廣泛的應(yīng)用.

但是, 由于實際中的控制系統(tǒng)總是受著模型不確定性, 外界擾動或其他變化的影響. 我們在控制器設(shè)計過程中必須考慮這些因素, 以避免閉環(huán)系統(tǒng)性能的惡化, 提高被控系統(tǒng)的魯棒性能. 關(guān)于不確定系統(tǒng)的魯棒控制問題, 控制學者們已經(jīng)取得了很多研究成果, 近幾年來, 利用自適應(yīng)評判思想進行魯棒控制設(shè)計逐漸成為自適應(yīng)動態(tài)規(guī)劃領(lǐng)域的研究熱點之一, 有很多方法陸續(xù)被提出, 這里將它們統(tǒng)稱為魯棒自適應(yīng)評判控制. 本文主要給出魯棒自適應(yīng)評判控制的最新研究進展.

越來越多的證據(jù)表明, 最優(yōu)性在理解大腦智能的研究中具有重要作用. 考慮以在線方式實現(xiàn)對具有不確定性和未知動態(tài)的復(fù)雜系統(tǒng)進行最優(yōu)決策和智能控制這一宗旨, 自適應(yīng)動態(tài)規(guī)劃可以為智能系統(tǒng)和類腦智能研究做出相當大的貢獻. 正如其創(chuàng)始人Werbos博士指出的, 自適應(yīng)動態(tài)規(guī)劃很可能是實現(xiàn)真正意義類腦智能的關(guān)鍵方法. 因此, 為降低計算量和通信負擔的近似動態(tài)規(guī)劃解決方案, 包括保證穩(wěn)定性, 收斂性, 最優(yōu)性和魯棒性的研究仍然需要大批學者的努力, 其中, 基于智能學習的魯棒自適應(yīng)評判控制設(shè)計也一定能夠取得更大的進展.