自然語(yǔ)言處理課程的第二天今天總算是補(bǔ)完了，課程的時(shí)間有限，但是內(nèi)容繁多，而且都是能深挖的大坑，我的主要研究重點(diǎn)不在這里，所以無(wú)法展開(kāi)，下面是我對(duì)這次課的簡(jiǎn)單介紹和筆記，來(lái)自深藍(lán)學(xué)院。

什么是句法分析 1

按照百度百科的解釋就是指對(duì)句子中的詞語(yǔ)語(yǔ)法功能進(jìn)行分析，例如“我來(lái)晚了”中，“我”是主語(yǔ)，“來(lái)”是謂語(yǔ)，“晚了”就是補(bǔ)語(yǔ)。這塊內(nèi)容其實(shí)在語(yǔ)言學(xué)等領(lǐng)域已經(jīng)有比較深入的研究，但是隨著數(shù)據(jù)的逐漸增多，這種分析就需要利用計(jì)算機(jī)自動(dòng)化，句法分析就是這樣誕生的。

那么句法分析到底有什么用呢？句法分析的結(jié)果是一句話的句子成分分析，其實(shí)就可以用來(lái)做知識(shí)發(fā)現(xiàn)和挖掘，例如“張三是李四的兒子”，通過(guò)句法分析，能夠知道主謂賓等關(guān)系，能夠抽取具體的消息，例如這里能夠獲取一個(gè)關(guān)系——張三和李四是父子關(guān)系，根據(jù)這些知識(shí)，無(wú)論是做知識(shí)圖譜，還是做問(wèn)答機(jī)器人等，都有大的作用，可見(jiàn)，句法分析是知識(shí)抽取的重要基礎(chǔ)。

句法分析的評(píng)價(jià)指標(biāo) 2

要深入研究句法分析，首先要知道，什么樣的句法分析算是好的句法分析，所以句法分析方法的評(píng)價(jià)是首要思考的問(wèn)題，目前進(jìn)行句法分析，主要是用依存句法分析，其具體的評(píng)價(jià)指標(biāo)有下面5種。

無(wú)標(biāo)記依存正確率(UAS)：所有詞中找到正確的頭詞所占的百分比，對(duì)于沒(méi)有頭詞的根節(jié)點(diǎn)，只要根節(jié)點(diǎn)是對(duì)的，也將這個(gè)根節(jié)點(diǎn)算作其中(Nivre et al., 2004)

根正確率(RA)：所有句子中找到正確根的句子所占的百分比(Yamada and Matsumoto, 2003)

完全匹配率(CM)：所有句子中無(wú)標(biāo)記依存結(jié)構(gòu)完全正確的句子所占的百分比(Yamada and Matsumoto, 2003)

帶標(biāo)記依存正確率(LAS)：所有詞中找到正確的頭詞并分配到正確標(biāo)記的詞所占的百分比，對(duì)于沒(méi)有頭詞的根節(jié)點(diǎn)，只要根節(jié)點(diǎn)是對(duì)的，也將這個(gè)根節(jié)點(diǎn)算作其中(Nivre et al., 2004)

標(biāo)記正確率(LA)：所有詞中依存標(biāo)記正確的詞所占的百分比，只要根節(jié)點(diǎn)是對(duì)的，也將這個(gè)根節(jié)點(diǎn)算作其中(Nivre et al., 2004)

對(duì)現(xiàn)行方法的簡(jiǎn)單評(píng)價(jià) 3

首先看看英文的，英文畢竟是目前自然語(yǔ)言處理的主力和焦點(diǎn)，而且英語(yǔ)具有相對(duì)嚴(yán)禁的語(yǔ)法結(jié)構(gòu)。

本身UAS的定義相比CM，就較弱，而且USA是無(wú)監(jiān)督的方法，所以會(huì)比CM的正確率高很多。從CM看來(lái)，正確率不足50%，其實(shí)并不高，可見(jiàn)依存句法分析任重道遠(yuǎn)。

然后看中文，中文的自然語(yǔ)言處理相對(duì)比較難，一方面是中文本身的語(yǔ)法特性，另一方面中文分詞的時(shí)候本就有誤差，再進(jìn)行句法分析會(huì)產(chǎn)生誤差疊加。

可以明顯地看到，UAS和CM相比英文會(huì)更加低，說(shuō)明中文的難度會(huì)比英文高，目前的潛力仍比較強(qiáng)。

綜上所述，目前雖然已經(jīng)有比較豐富的方法，但是準(zhǔn)確度還有比較大的上升空間。

句法分析的主要方法 4

糾結(jié)了很久，想了要怎么寫(xiě)，要是詳細(xì)些，這就不是公眾號(hào)，是書(shū)了，要是不詳細(xì)寫(xiě)，又怕你們罵我，于是我想了一個(gè)比較中和的方案，那就是我弄綜述，參考文獻(xiàn)給你們，有興趣的你們自己去看，你們覺(jué)得怎么樣？

句法分析，尤其針對(duì)依存句法分析，主要有基于動(dòng)態(tài)規(guī)劃，基于決策，基于融合的方法，當(dāng)然還有一些擴(kuò)展性的方法。

基于動(dòng)態(tài)規(guī)劃的方法

基于動(dòng)態(tài)規(guī)劃的方法，其實(shí)就是直接對(duì)依存樹(shù)進(jìn)行分析。早期，采用的方法是將依存圖中的節(jié)點(diǎn)看作短語(yǔ)結(jié)構(gòu)中的節(jié)點(diǎn)，從而可以應(yīng)用上下文無(wú)關(guān)文法中成熟的CKY算法(Gaifman, 1965)，然而時(shí)間復(fù)雜度非常可怕地達(dá)到了O(n5)，后來(lái)提出了雙詞匯語(yǔ)法，其方法主要分為產(chǎn)生式方法(Eisner, 1996)和判別式方法(McDonald et al., 2005; McDonald, 2006)，成功地將復(fù)雜度降低到O(n3)。

生成式和判別式和機(jī)器學(xué)習(xí)里面的生成和判別相同，生成式方法采用聯(lián)合概率模型生成一系列依存句法樹(shù)并賦予其概率分值，然后采用相關(guān)算法找到概率打分最高的分析結(jié)果作為最后的輸出，說(shuō)白了就是把概率分布求出來(lái)，然后根據(jù)概率分布進(jìn)行下一步的分析和決策，在句法分析中將詞與詞之間的依存關(guān)系看作是成分結(jié)構(gòu)，用類似于短語(yǔ)結(jié)構(gòu)句法分析的方法來(lái)獲取依存關(guān)系，其優(yōu)點(diǎn)是能夠得到每種決策的概率關(guān)系，決策更加全面，但是缺點(diǎn)是畢竟在相同的信息下，相比判別式整體決策精度可能會(huì)下降，其信息消耗花在進(jìn)行計(jì)算概率分布上太多，導(dǎo)致最后拍板的時(shí)候受到約束。

判別式將依存分析看作是在一個(gè)依存圖上尋找最大生成樹(shù)(MST)的問(wèn)題，該生成樹(shù)滿足上述三個(gè)約束條件：連通、單一父節(jié)點(diǎn)、無(wú)環(huán)，并不需要求概率分布，相比生成式，其優(yōu)點(diǎn)是操作更為簡(jiǎn)單，可以運(yùn)用更多的機(jī)器學(xué)習(xí)方法，而且出現(xiàn)下溢的情況更少（計(jì)算機(jī)在計(jì)算10的負(fù)好多次方的時(shí)候會(huì)出現(xiàn)下溢情況，精度會(huì)大大下降），復(fù)雜度相對(duì)較低，最終精度偏高。

基于決策的方法

基于決策的方法把分析過(guò)程看成是分析序列，建立詞之間的聯(lián)系，Covington(2001) 將決策的過(guò)程從句子的左端開(kāi)始，逐個(gè)接受每個(gè)詞，并嘗試連接每個(gè)詞與先前的詞并將其作為頭詞或依存詞，這種算法簡(jiǎn)單易懂，但是窮舉法計(jì)算低效而且受到語(yǔ)料庫(kù)約束較大；Yamada和Matsumoto(2003)通過(guò)將關(guān)系分為左依存、右依存和無(wú)依存三種情況進(jìn)行動(dòng)作分析從而得到句法結(jié)構(gòu)；Nivre和Scholz(2004)在Yamada和Matsumoto(2003)的基礎(chǔ)上提出新的數(shù)據(jù)結(jié)構(gòu)和動(dòng)作分析方法，依存句法分析器主要由一個(gè)三元組構(gòu)成，其中S表示一個(gè)棧結(jié)構(gòu)， I表示剩余輸入詞序列， A表示在當(dāng)前分析狀態(tài)下所得到的依存關(guān)系集合，將動(dòng)作從原來(lái)的3個(gè)升級(jí)為L(zhǎng)eft-arc, right-arc, reduce, shift四個(gè)。

從整體而言，基于決策的方法模型直觀清晰，但是決策過(guò)程是貪婪的，局部的，精度收到很大限制，誤差還會(huì)傳遞，所以仍存在較大問(wèn)題。

基于融合的方法

機(jī)器學(xué)習(xí)中有基本的支持向量機(jī)、決策樹(shù)等優(yōu)秀的方法，但是卻各有問(wèn)題，于是提出了bagging，而基于融合的方法，將上述兩個(gè)方法的優(yōu)點(diǎn)結(jié)合。

基于搜索策略融合的方法(Duan et al., 2007)認(rèn)為整個(gè)決策式依存句法分析過(guò)程可以看作是馬爾科夫鏈。在每一步分析中會(huì)有若干個(gè)候選分析動(dòng)作。句法分析的目標(biāo)是在馬爾科夫假設(shè)下尋找最有可能的分析動(dòng)作序列，這樣既可以利用豐富的上下文特征，又從全局的視角對(duì)決策動(dòng)作建模，而算法的復(fù)雜度介于決策式方法和動(dòng)態(tài)規(guī)劃方法之間。按照他的說(shuō)法進(jìn)行實(shí)驗(yàn)得到的精度是這樣的，可見(jiàn)優(yōu)化了不少。

基于特征的融合方法(Nivre and McDonald, 2008)在McDonald和Nivre(2007)的“不同的句法分析器產(chǎn)生不同的錯(cuò)誤”觀點(diǎn)下提出兩種思路，如下圖所示（符號(hào)太復(fù)雜所以我就截圖了）：

最后還有基于模型的融合方法，Zhang和Clark(2008)將動(dòng)態(tài)規(guī)劃的方法和決策的方法進(jìn)行加權(quán)組合。

擴(kuò)展性工作

受限于樹(shù)庫(kù)規(guī)模較小，尤其是有標(biāo)注的材料太少，所以句法分析的性能一直受到嚴(yán)重限制，目前有部分學(xué)者開(kāi)始在有限的標(biāo)注材料和較多的無(wú)標(biāo)注材料下，使用半監(jiān)督或者無(wú)監(jiān)督的方法。

面臨的挑戰(zhàn) 5

前人尚且已經(jīng)在句法分析上有豐碩的成果，但是下面幾個(gè)方面仍有巨大的研究?jī)r(jià)值和研究潛力。

句法分析的準(zhǔn)確度仍十分有限；

句法分析的評(píng)價(jià)指標(biāo)是否合理目前尚無(wú)定論，CoNLL仍有一些問(wèn)題，而且有人針對(duì)多個(gè)角度，例如語(yǔ)種等，有無(wú)更加靈活的機(jī)制；

句法分析的魯棒性仍不夠高，和評(píng)價(jià)指標(biāo)的靈活性類似；

句法分析的速度，目前仍無(wú)法投入大數(shù)據(jù)的實(shí)現(xiàn)，然而速度和精度的兩大矛盾體的存在性導(dǎo)致兩者相互制約；

運(yùn)用在互聯(lián)網(wǎng)中的研究仍處起步階段，主要針對(duì)句法分析的下游技術(shù)，面向信息抽取的句法分析，面向社區(qū)問(wèn)答的句法分析等；

句法分析并不是上游技術(shù)，需要依賴分詞、詞性標(biāo)注等關(guān)鍵技術(shù)，這些技術(shù)同樣具有較大誤差等問(wèn)題，于是誤差的傳遞下句法分析的性能受到較大約束。

小結(jié) 6

句法分析不是我的主要研究重點(diǎn)，也沒(méi)太關(guān)注過(guò)這個(gè)重點(diǎn)，經(jīng)過(guò)一些相關(guān)材料的閱讀和學(xué)習(xí)，感覺(jué)還是有很大的研究空間，后續(xù)可能會(huì)有一些深入的閱讀，擴(kuò)充自己的知識(shí)面，也讓自己應(yīng)對(duì)各種問(wèn)題多了一把新的有力武器。

責(zé)任編輯：lq