目標(biāo)函數(shù)

★ 1. Masked Language Model, MLM

MLM 是為了訓(xùn)練深度雙向語言表示向量，BERT 用了一個非常直接的方式，遮住句子里某些單詞，讓編碼器預(yù)測這個單詞是什么。具體操作流程如下圖示例：先按一個較小概率 mask 掉一些字，再對這些字利用語言模型由上下文做預(yù)測。

BERT 具體訓(xùn)練方法為：隨機(jī)遮住15%的單詞作為訓(xùn)練樣本。

• 其中80%用 masked token 來代替。
• 10%用隨機(jī)的一個詞來替換。
• 10%保持這個詞不變。

直觀上來說，只有15%的詞被遮蓋的原因是性能開銷，雙向編碼器比單向編碼器訓(xùn)練要慢；選80% mask，20%具體單詞的原因是在 pretrain 的時候做了 mask，在特定任務(wù)微調(diào)如分類任務(wù)的時候，并不對輸入序列做 mask，會產(chǎn)生 gap，任務(wù)不一致；10%用隨機(jī)的一個詞來替換，10%保持這個詞不變的原因是讓編碼器不知道哪些詞需要預(yù)測的，哪些詞是錯誤的，因此被迫需要學(xué)習(xí)每一個 token 的表示向量，做了一個折中。

★ 2. Next Sentence Prediction

預(yù)訓(xùn)練一個二分類的模型，來學(xué)習(xí)句子之間的關(guān)系。預(yù)測下一個句子的方法對學(xué)習(xí)句子之間關(guān)系很有幫助。

訓(xùn)練方法：正樣本和負(fù)樣本比例是1：1，50%的句子是正樣本，即給定句子A和B，B是A的實際語境下一句；負(fù)樣本：在語料庫中隨機(jī)選擇的句子作為B。通過兩個特定的 token[CLS]和[SEP]來串接兩個句子，該任務(wù)在[CLS]位置輸出預(yù)測。

輸入表示

Input： 每個輸入序列的第一個 token [CLS]專門用來分類，直接利用此位置的最后輸出作為分類任務(wù)的輸入 embedding。

從直觀上來說，在預(yù)訓(xùn)練時，[CLS]不參與 mask，因而該位置面向整個序列的所有position 做 attention，[CLS]位置的輸出足夠表達(dá)整個句子的信息，類似于一個global feature；而單詞 token 對應(yīng)的 embedding 更關(guān)注該 token 的語義語法及上下文信息表達(dá)，類似于一個 local feature。

Position Embeddings: transformer 的 PositionEncoding 是通過 sin，cos 直接構(gòu)造出來的，PositionEmbeddings 是通過模型學(xué)習(xí)到的 embedding 向量，最高支持512維。

Segment Embeddings： 在預(yù)訓(xùn)練的句對預(yù)測任務(wù)及問答、相似匹配等任務(wù)中，需要對前后句子做區(qū)分，將句對輸入同一序列，以特殊標(biāo)記 [SEP] 分割，同時對第一個句子的每個 token 添加 Sentence A Embedding， 第二個句子添加 Sentence BEmbedding，實驗中讓EA =1, EB =0。

Fine-tune

針對不同任務(wù)，BERT 采用不同部分的輸出做預(yù)測，分類任務(wù)利用[CLS]位置的embedding，NER 任務(wù)利用每個 token 的輸出 embedding。

BERT的主要貢獻(xiàn)有以下幾個方面：

預(yù)訓(xùn)練的有效性： 這方面來說 BERT 改變了游戲規(guī)則，是因為相比設(shè)計復(fù)雜巧妙的網(wǎng)絡(luò)結(jié)構(gòu)，在海量無監(jiān)督數(shù)據(jù)上預(yù)訓(xùn)練得到的BERT語言表示+少量訓(xùn)練數(shù)據(jù)微調(diào)的簡單網(wǎng)絡(luò)模型的實驗結(jié)果取得了很大的優(yōu)勢。

網(wǎng)絡(luò)深度： 基于 DNN 語言模型 (NNLM，CBOW等) 獲取詞向量的表示已經(jīng)在 NLP領(lǐng)域獲得很大成功，而 BERT 預(yù)訓(xùn)練網(wǎng)絡(luò)基于 Transformer 的 Encoder，可以做的很深。

雙向語言模型： 在 BERT 之前，ELMo 和 GPT 的主要局限在于標(biāo)準(zhǔn)語言模型是單向的，GPT 使用 Transformer 的 Decoder 結(jié)構(gòu)，只考慮了上文的信息。ELMo 從左往右的語言模型和從右往左的語言模型其實是獨立開來訓(xùn)練的，共享 embedding，將兩個方向的 LSTM 拼接并不能真正表示上下文，其本質(zhì)仍是單向的，且多層 LSTM難訓(xùn)練。

目標(biāo)函數(shù)： 對比語言模型任務(wù)只做預(yù)測下一個位置的單詞，想要訓(xùn)練包含更多信息的語言模型，就需要讓語言模型完成更復(fù)雜的任務(wù)，BERT 主要完成完形填空和句對預(yù)測的任務(wù)，即兩個 loss：一個是 Masked Language Model，另一個是 Next Sentence Prediction。

總結(jié)

我們在做 NLU 意圖分類任務(wù)中實踐了以上主流模型，包括 Xgboost、TextCNN、LSTM、BERT 及 ERNIE 等，下邊是在前期模型調(diào)研階段，在選型測試數(shù)據(jù)上的對比實驗，BERT 模型表現(xiàn)出極大的優(yōu)勢。

同時在我們部署上線的過程中，對 BERT 時耗做了測試，在壓測實驗數(shù)據(jù)上的測試結(jié)果供參考。針對我們的問答query：

(1 ) BERT layer 的層數(shù)與時耗基本成線性關(guān)系，多頭數(shù)目增加對時耗增加不明顯；

(2) 針對短文本 query 的意圖理解，更多依賴淺層語法語義特征，因而 BERT 層數(shù)對模型準(zhǔn)召影響較小；

(3) attention 多頭決定了可以從多少個角度理解 query，在我們的實驗里降低多頭數(shù)比降低層數(shù)對準(zhǔn)召的影響略大，而時耗無明顯降低。

圖像領(lǐng)域，Alexnet 打開了深度學(xué)習(xí)的大門，Resnet是圖像領(lǐng)域深度學(xué)習(xí)的殿堂標(biāo)志。

隨著Transformer, Bert 興起，網(wǎng)絡(luò)也在往12層，24層發(fā)展，得到了 SOTA. Bert 證明了在nlp領(lǐng)域，深層網(wǎng)絡(luò)的效果要優(yōu)于淺層網(wǎng)絡(luò)。

自然語言領(lǐng)域，Transformer 打開了深層網(wǎng)絡(luò)的大門，BERT 也成為了自然語言處理領(lǐng)域的殿堂標(biāo)志。