自動(dòng)語(yǔ)言翻譯是NLP領(lǐng)域研究的一大熱門，它可以免去語(yǔ)言不通的煩惱，讓用戶隨意瀏覽信息、接受服務(wù)。為了保證質(zhì)量，現(xiàn)有的機(jī)器翻譯系統(tǒng)需要用大量的翻譯文本做訓(xùn)練樣本。這樣就使得機(jī)器翻譯只有在一小部分樣本數(shù)量充足的語(yǔ)言表現(xiàn)良好。

這一領(lǐng)域目前研究的重點(diǎn)就是在不需要任何源翻譯的情況下訓(xùn)練機(jī)器翻譯模型，即無(wú)監(jiān)督訓(xùn)練。Facebook的研究團(tuán)隊(duì)在EMNLP 2018上展示的研究成果正式最近針對(duì)這一問(wèn)題的研究，并獲得了EMNLP 2018的最佳論文，論智將大概內(nèi)容編譯如下：

我們的新方法在此前無(wú)監(jiān)督翻譯的基礎(chǔ)上得到了極大地提升，并且達(dá)到了和有將近10萬(wàn)份翻譯參考樣本的監(jiān)督式方法的水平。BLEU分?jǐn)?shù)是衡量機(jī)器翻譯準(zhǔn)確性常用的準(zhǔn)則，提高1分就已經(jīng)很有說(shuō)服力了，而我們的方法最終提升了10個(gè)BLEU分?jǐn)?shù)。

總的來(lái)說(shuō)，這是機(jī)器翻譯領(lǐng)域的重要研究成果，尤其是對(duì)世界上數(shù)千種缺乏樣本的小眾語(yǔ)言來(lái)說(shuō)，是非常有用的。對(duì)資源較少的語(yǔ)言，現(xiàn)在有一種方法能學(xué)習(xí)彼此間互相翻譯了，例如烏爾都語(yǔ)和英語(yǔ)之間的翻譯，只需要一段英語(yǔ)和與之無(wú)關(guān)的烏爾都語(yǔ)即可互譯，無(wú)需對(duì)應(yīng)的文本。

這一新方法開啟了多種語(yǔ)言快速翻譯、精準(zhǔn)翻譯的大門。

詞對(duì)詞翻譯

為了達(dá)到我們的研究目的，第一步就是讓系統(tǒng)學(xué)習(xí)雙語(yǔ)詞典，也就是將一個(gè)單詞和目標(biāo)語(yǔ)言中的翻譯版本聯(lián)系起來(lái)。為了做到這一點(diǎn)，我們用了此前論文中的方法，讓系統(tǒng)首先學(xué)習(xí)各種語(yǔ)言中每個(gè)單詞的詞嵌入（單詞的向量表示）。

詞嵌入經(jīng)過(guò)訓(xùn)練，是為了根據(jù)語(yǔ)境預(yù)測(cè)單詞（例如給定一個(gè)單詞，猜測(cè)前面五個(gè)單詞和后面五個(gè)單詞分別是什么）。雖然這一過(guò)程簡(jiǎn)單，但詞嵌入可以捕捉有趣的予以結(jié)構(gòu)。例如，“kitty”的最近鄰單詞是“cat”，并且單詞“kitty”的詞嵌入與“animal”的嵌入比與“rocket”更近（因?yàn)椤皉ocket”幾乎很少在由“kitty”的語(yǔ)境中出現(xiàn)）。

并且，不同語(yǔ)言的詞嵌入的近鄰結(jié)構(gòu)是相似的，因?yàn)槭澜绺鞯氐娜藗儗?duì)事物的認(rèn)知是一樣的。例如在英語(yǔ)中，“cat”和“fluffy”的關(guān)系和西班牙語(yǔ)中的“gato”和“peludo”的關(guān)系是一樣的，因?yàn)檫@些詞出現(xiàn)的語(yǔ)境相似。

基于這種相似性，我們提出讓系統(tǒng)學(xué)習(xí)某種語(yǔ)言詞嵌入的旋轉(zhuǎn)，用多種技術(shù)的結(jié)合，例如對(duì)抗訓(xùn)練，來(lái)匹配另一種語(yǔ)言的詞嵌入。有了這一信息，我們可以不用任何翻譯來(lái)推斷出相當(dāng)準(zhǔn)確的雙語(yǔ)詞典，進(jìn)行詞對(duì)詞的翻譯。

兩種語(yǔ)言的二維詞嵌入（左）可以通過(guò)簡(jiǎn)單的旋轉(zhuǎn)連接起來(lái)（右）

翻譯語(yǔ)句

用無(wú)監(jiān)督的雙語(yǔ)詞典推斷法進(jìn)行詞對(duì)詞翻譯并不是好的翻譯方法，因?yàn)樵~語(yǔ)可能會(huì)丟失，或打亂順序，或出現(xiàn)錯(cuò)誤。但是，它能最大程度地保留文本的意思。我們可以用語(yǔ)言模型對(duì)其進(jìn)行本地化編輯，該模型經(jīng)過(guò)單一語(yǔ)言數(shù)據(jù)的訓(xùn)練，可以對(duì)詞語(yǔ)的順序進(jìn)行打分。

如果我們有一個(gè)大型的烏爾都語(yǔ)數(shù)據(jù)集，就可以訓(xùn)練一個(gè)烏爾都語(yǔ)模型和同樣的英語(yǔ)模型。有了語(yǔ)言模型和詞對(duì)詞翻譯，我們可以建立起翻譯系統(tǒng)的早期版本。

雖然這一版本還不夠完美，但是該系統(tǒng)已經(jīng)比單純的詞對(duì)詞翻譯要好了，并且可以從很多源語(yǔ)言翻譯成目標(biāo)語(yǔ)言。

接下來(lái)，我們將這些系統(tǒng)翻譯（從烏爾都語(yǔ)翻譯成英語(yǔ)）看作是標(biāo)準(zhǔn)數(shù)據(jù)，反過(guò)來(lái)用它們訓(xùn)練機(jī)器翻譯系統(tǒng)（從英語(yǔ)翻譯成烏爾都語(yǔ)）。可以想到，作為輸入的英語(yǔ)語(yǔ)句可能會(huì)有些許遺漏，因?yàn)樵诘谝淮畏g時(shí)會(huì)有誤差。這一技術(shù)由R. Sennrich等人于ACL 2015上提出，是機(jī)器翻譯系統(tǒng)的半監(jiān)督學(xué)習(xí)（其中可使用少量平行文本）。這是該技術(shù)第一次用于完全的無(wú)監(jiān)督系統(tǒng)中，重要的是，它最初是在監(jiān)督數(shù)據(jù)上訓(xùn)練的。

我們現(xiàn)在有了烏爾都語(yǔ)語(yǔ)言模型了，我們可以將反向翻譯的平行語(yǔ)句和烏爾都語(yǔ)語(yǔ)言模型生成的正確語(yǔ)句相結(jié)合，訓(xùn)練從英語(yǔ)到烏爾都語(yǔ)的翻譯系統(tǒng)。

系統(tǒng)訓(xùn)練完成后，我們可以用它翻譯很多英語(yǔ)語(yǔ)句，建造起另一個(gè)數(shù)據(jù)集，幫助之前的烏爾都語(yǔ)-英語(yǔ)翻譯系統(tǒng)提高性能。一個(gè)系統(tǒng)變得更好，就可以用它生成用于訓(xùn)練反向系統(tǒng)的數(shù)據(jù)，不斷進(jìn)行迭代。

模型結(jié)合

在我們的研究中，我們?cè)O(shè)立了三個(gè)步驟：

詞對(duì)詞翻譯初始化

語(yǔ)言建模

反向翻譯

這三個(gè)步驟是無(wú)監(jiān)督機(jī)器翻譯的重要原則，有了這些原則，我們可以衍生出不同的模型，我們將這些原則應(yīng)用于兩種不同的方法處理無(wú)監(jiān)督機(jī)器翻譯問(wèn)題。

首先是無(wú)監(jiān)督神經(jīng)模型，比詞對(duì)詞翻譯更流暢，但是無(wú)法生成我們想要的翻譯質(zhì)量。但是它們可以用于反向翻譯，在反向翻譯中，這種方法被看作有10萬(wàn)條平行句子的監(jiān)督式模型。

接下來(lái)，我們將上述三原則應(yīng)用于另一個(gè)基于經(jīng)典數(shù)據(jù)模型的方法，即基于短語(yǔ)的機(jī)器翻譯。這些模型在小眾語(yǔ)言上表現(xiàn)得較好，非常有趣。但是這是首次應(yīng)用于無(wú)監(jiān)督機(jī)器翻譯上，在這種情況下，我們發(fā)現(xiàn)翻譯結(jié)果中，詞語(yǔ)的使用是正確的，但不夠流暢。不過(guò)這一方法同樣比此前的無(wú)監(jiān)督模型表現(xiàn)得要好。

最后，我們將這兩種模型結(jié)合得到了最好的模型，既能流暢生成語(yǔ)句，又能翻譯無(wú)誤。我們首先訓(xùn)練了神經(jīng)模型，然后通過(guò)基于短語(yǔ)的模型，用額外的反向翻譯語(yǔ)句對(duì)其進(jìn)行訓(xùn)練。

重要的是，這種復(fù)合型模型極大地提高了吳建德機(jī)器翻譯的精確度，在英語(yǔ)-法語(yǔ)和英語(yǔ)-德語(yǔ)翻譯上提高了10個(gè)BLEU分?jǐn)?shù)，這兩種翻譯常被用作基準(zhǔn)。

我們同樣在其他語(yǔ)言互譯上測(cè)試了這種新方法，例如在英語(yǔ)-羅馬尼亞語(yǔ)、英語(yǔ)-烏爾都語(yǔ)這樣小眾的翻譯，結(jié)果都比之前有很大的進(jìn)步，甚至有些超過(guò)了用平行數(shù)據(jù)訓(xùn)練處的監(jiān)督式方法。

德語(yǔ)-英語(yǔ)翻譯案例的結(jié)果如下：

結(jié)語(yǔ)

提高10個(gè)BLEU對(duì)我們來(lái)說(shuō)是很大的驚喜了，然而更值得關(guān)注的是未來(lái)機(jī)器翻譯進(jìn)步的空間。在短期內(nèi)，技術(shù)的進(jìn)步一定會(huì)讓更多語(yǔ)言翻譯變得更加容易、翻譯質(zhì)量更好。但這次的研究成果和基本研究準(zhǔn)則不會(huì)僅僅用于機(jī)器翻譯。在其他無(wú)監(jiān)督學(xué)習(xí)領(lǐng)域，此次研究的成果也可讓智能體利用無(wú)標(biāo)記數(shù)據(jù)執(zhí)行多種任務(wù)。這次的研究證明了，系統(tǒng)可以在無(wú)監(jiān)督的情況下學(xué)習(xí)，并搭建多種系統(tǒng)，其中的元素會(huì)在多次迭代中提高性能。