模仿學習硏究如何從專家的決策數(shù)據(jù)中進行學習，以得到接近專家水準的決策模型。同樣學習如何決策的強化學習往往只根據(jù)環(huán)境的評價式反饋進行學習，與之相比，模仿學習能從決策數(shù)據(jù)中獲得更為直接的反饋。它可以分為行為克隆、基于逆向強化學習的模仿學習兩類方法。基于逆向強化學習的模仿學習把模仿學習的過程分解成逆向強化學習和強化學習兩個子過程，并反復迭代。逆向強化學習用于推導符合專家決策數(shù)據(jù)的獎賞函數(shù)，而強化學習基于該獎賞函數(shù)來學習策略。基于生成對抗網(wǎng)絡(luò)的模仿學習方法從基于逆向強化學習的模仿學習發(fā)展而來，其中最早出現(xiàn)且最具代表性的是生成對抗模仿學習方法（ Generative Adversarial Imitation Learning，簡稱GAIL）。生成對抗網(wǎng)絡(luò)由兩個相對抗的神經(jīng)網(wǎng)絡(luò)構(gòu)成，分別為判別器和生成器.GAL的特點是用生成對抗網(wǎng)絡(luò)框架求解模仿學習問題，其中，判別器的訓練過程可類比獎賞函數(shù)的學習過程，生成器的訓練過程可類比策略的學習過程。與傳統(tǒng)模仿學習方法相比，GA具有更好的魯棒性、表征能力和計算效率。因此，它能夠處理復雜的大規(guī)模問題，并可拓展到實際應(yīng)用中然而，GA存在著模態(tài)崩塌、環(huán)境交互樣本利用效率低等問題。最近，新的研究工作利用生成對抗網(wǎng)絡(luò)技術(shù)和強化學習技術(shù)等分別對這些問題進行改進，并在觀察機制、多智能體系統(tǒng)等方面對GAI進行了拓展。本文先介紹了GAL的主要思想及其優(yōu)缺點，然后對GAIL的改進算法進行了歸類、分析和對比，最后總結(jié)全文并探討了可能的未來趨勢。