20世紀(jì)50年代

NLP的早期研究主要基于規(guī)則的方法，依賴于語言學(xué)專家手工編寫的規(guī)則和詞典。這些規(guī)則通常是關(guān)于語法、語義和句法結(jié)構(gòu)的人工規(guī)則。

例如一個(gè)簡單的陳述句通常遵循“主語 + 謂語 + 賓語”的結(jié)構(gòu)，每一個(gè)陳述句都以這種規(guī)則做標(biāo)記。

那時(shí)候的NLP就像個(gè)剛學(xué)步的小孩，靠的是一堆人工的規(guī)則，就像小時(shí)候?qū)W說話，需要一個(gè)字一個(gè)字地學(xué)，學(xué)完單詞學(xué)語法。

20世紀(jì)70年代

隨著時(shí)間的推移，20世紀(jì)70年代隨著計(jì)算能力的提升和數(shù)據(jù)的積累，NLP開始轉(zhuǎn)向基于統(tǒng)計(jì)學(xué)的方法。這些方法依賴于大量的文本數(shù)據(jù)，通過統(tǒng)計(jì)模型來捕捉語言模式，而非手工制定規(guī)則。統(tǒng)計(jì)方法開始重視詞語的共現(xiàn)關(guān)系，并通過概率推斷來實(shí)現(xiàn)語言處理任務(wù)。

NLP開始用大數(shù)據(jù)來學(xué)習(xí)語言的規(guī)律，就像你長大了，通過聽周圍人說話來學(xué)習(xí)新詞匯和表達(dá)，但是對(duì)于你來說每個(gè)單詞都是獨(dú)立的，相互沒有關(guān)系。

2013年

2013年，基于嵌入embedding的NLP方法被發(fā)明，通過將詞語、短語、句子等語言元素映射到高維的連續(xù)向量空間中，這些向量捕捉了詞語之間的語義關(guān)系，使得模型能夠更好地理解和處理語言。

就像用表情符號(hào)來表達(dá)情感一樣，表情是人類語言的抽象，這些向量能捕捉詞語的意思和關(guān)系。

同年Encoder-decoder的模型結(jié)構(gòu)被發(fā)明，為后續(xù)的序列到序列（Seq2Seq）模型奠定了基礎(chǔ)，至此命運(yùn)的齒輪開始轉(zhuǎn)動(dòng)。

2017年

2017年，"Attention is all you need"論文的發(fā)表標(biāo)志著Transformer模型的誕生，它在上一個(gè)階段詞嵌入的基礎(chǔ)上，基于自注意力機(jī)制的模型，它徹底改變了NLP領(lǐng)域的模型設(shè)計(jì)和訓(xùn)練方式。

Transformer模型通過多頭注意力機(jī)制和位置編碼，有效地處理了序列數(shù)據(jù)，提高了模型的并行處理能力和性能。它用自注意力機(jī)制讓模型能同時(shí)關(guān)注句子中的所有詞，就像你在聊天時(shí)，能同時(shí)關(guān)注群里每個(gè)人的發(fā)言。

隨后，基于Transformer架構(gòu)的BERT和GPT等模型相繼出現(xiàn)，它們通過預(yù)訓(xùn)練和微調(diào)的方式，在多種NLP任務(wù)上取得了突破性的性能。

2022年

之后的故事大家都很熟悉了，2022年chatgpt橫空出世，大模型的涌現(xiàn)一發(fā)不可收拾。你知道他們?yōu)槭裁唇写竽Ｐ蛦?？是因?yàn)檫@些模型的參數(shù)量已經(jīng)達(dá)到了百億甚至千億級(jí)別！

AI體系化學(xué)習(xí)路線

學(xué)習(xí)資料免費(fèi)領(lǐng)

【后臺(tái)私信】AI全體系學(xué)習(xí)路線超詳版+100余講AI視頻課程 +AI實(shí)驗(yàn)平臺(tái)體驗(yàn)權(quán)限

全體系課程詳情介紹