色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

自然語言處理BERT中CLS的效果如何?

深度學習自然語言處理 ? 來源:AI自然語言處理與知識圖譜 ? 作者:Elesdspline ? 2021-04-04 17:01 ? 次閱讀

要說自然語言處理在18年最奪目閃耀的是什么事情,那當屬 BERT 刷新各個任務(wù)的記錄了,至今已經(jīng)過去了近兩年半的時間,但其影響力未曾衰減,無論學術(shù)界還是工業(yè)界,很多的工作與部署都圍繞其展開,對很多的下游任務(wù)都有舉足輕重的作用,真的是里程碑啊。

相信大家都有過BERT、ALBERT等預(yù)訓練語言模型應(yīng)用在自己任務(wù)上的實踐經(jīng)歷,可能是情感分析、分類、命名實體識別、閱讀理解、相似度計算等等,使用的方法也無非是在自己任務(wù)上 fine-tune 或者作為預(yù)訓練Embedding,使用的預(yù)訓練模型大多是公開的,大佬們(財大氣粗、資源無數(shù))訓練好的。(有錢真好)

在用預(yù)訓練模型的時候,根據(jù)任務(wù)的不同,用到信息也不同,有的需要是詞表示,比如命名實體識別、詞性標注等任務(wù),有的需要的是句子表示,比如分類、句子語意匹配等。這里我要說的句子表示這一類的任務(wù),大家經(jīng)常會用到的 [CLS] 特征信息作為句子向量表示,CLS 作為 BERT/ALBERT序列信息中特殊的一個存在,在最開始設(shè)計模型的時候便考慮將其作為后續(xù)文本分類的表示,然而直接使用 CLS 的效果真的會滿足我們的預(yù)期嘛?相信大家在實踐的過程中都有所體會~,另外 ALBERT 和 BERT 在下游任務(wù)應(yīng)用上面孰好孰壞,是否有一個定論?

我最近看到了一篇 Arxiv 的文章,題目是 《Evaluation of BERT and ALBERT Sentence Embedding Performance on Downstream NLP Tasks》,這篇文章在 BERT/ALBERT 提取信息作為句子信息表示應(yīng)用在下游任務(wù),對其效果進行了評測,或許會解答我們實踐中的疑惑,也或者會給我們一些預(yù)訓練模型在下游任務(wù)應(yīng)用的啟發(fā),讓我們來看下~

評測對比

有一系列的對比實驗,來看在下游任務(wù)上面的效果~

[CLS] embeddings

CLS 通過 Self-Attention 機制來獲取句子級別的信息表示,在不同的任務(wù)上 Fine-tune 之后,CLS 會捕捉特定環(huán)境下的上下文信息表示。

Pooled embeddings

將文本中的所有詞做 Avg-pooling 或者 max-pooling。

Sentence-X(SBERT/ALBERT)

BERT 在語義相似度任務(wù)上面也取得了很不錯的效果,然后其內(nèi)部的結(jié)構(gòu)在計算過程中會導致非常耗時,不適合做語義相似度匹配任務(wù),特別是在工業(yè)界,BERT 的耗時無法滿足上線的需要。針對這個問題,有人提出 Sentence-BERT,采用孿生網(wǎng)絡(luò)模型框架,將不同的句子輸入到參數(shù)共享的兩個BERT模型中,獲取句子信息表示,用于語義相似度計算,最終相比BERT效率大大提升,滿足工業(yè)界線上需要。SBERT 從65小時降到5秒,具體詳見參考資料2。

99cb1f6c-88e9-11eb-8b86-12bb97331649.png

CNN-SBERT/SALBERT

在上圖中,SBERT 采用 Avg-pooling 獲取句子向量表示,本文將其替換成 CNN 網(wǎng)絡(luò)結(jié)構(gòu)獲取句子向量表示。

99fe6886-88e9-11eb-8b86-12bb97331649.png

結(jié)果分析

評測任務(wù)

STS:Semantic Textual Similarity

NLI:Natural Language Inference

評測指標

Pearson and Spearman’s rank coefficients(皮爾遜和斯皮爾曼相關(guān)系數(shù))

評測數(shù)據(jù)

Semantic Textual Similarity benchmark(STSb)

Multi-Genre Natural Language Inference(MultiNLI)

Stanford Natural Language Inference(SNLI)

上面列出來相關(guān)的評測任務(wù)、評測指標以及評測所用到的數(shù)據(jù),下面先給出一張結(jié)果表,然后再詳細分析~

9a3609a8-88e9-11eb-8b86-12bb97331649.png

詳細分析

微調(diào)有效:這個是符合我們認知的,肯定是微調(diào)的效果要好。

CLS 效果:CLS 的效果要遜色很多,無論是在微調(diào)上面,還是不微調(diào)上面,CLS的效果都要遠遜色于平均池化操作或者其他方法。

不同方法效果:總體上來看,CNN-BERT > SBERT > Avg pooling > CLS

BERT 與 ALBERT:從上圖中大概能夠看出,不微調(diào)的情況下,兩者的效果差不多,但是微調(diào)之后,ALBERT的效果要比BERT差很多,僅僅在STSb上微調(diào)的時候,CLS 和平均池化的方法要好于BERT。

CNN的效果

從上圖來看,最好的結(jié)果是采用了 CNN 網(wǎng)絡(luò)結(jié)構(gòu),說明 CNN 起到了正向的作用,仔細觀察發(fā)現(xiàn),CNN 對 ALBERT 的改進要遠大于對 BERT 的改善提高。ALBERT 由于內(nèi)部參數(shù)共享,可能存在不穩(wěn)定性,CNN 網(wǎng)絡(luò)結(jié)構(gòu)或許可以減緩這種不穩(wěn)定性。

下圖也進行了一些對比,在幾個不同的數(shù)據(jù)集上驗證 CNN 的有效性,從最終的 Avg 結(jié)果來看,CNN 網(wǎng)絡(luò)結(jié)構(gòu)對 ALBERT 有改善提升。

9a91a5e2-88e9-11eb-8b86-12bb97331649.png

以上是根據(jù)實驗結(jié)果進行的簡單分析,其中有一些結(jié)論和對比可以在我們?nèi)粘5膶嵺`中借鑒并嘗試,說不定會有不錯的效果~

原文標題:【BERT】BERT中CLS效果真的好嘛?這篇文章告訴你答案

文章出處:【微信公眾號:深度學習自然語言處理】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

責任編輯:haq

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 人工智能
    +關(guān)注

    關(guān)注

    1801

    文章

    48272

    瀏覽量

    243650
  • 自然語言
    +關(guān)注

    關(guān)注

    1

    文章

    291

    瀏覽量

    13526

原文標題:【BERT】BERT中CLS效果真的好嘛?這篇文章告訴你答案

文章出處:【微信號:zenRRan,微信公眾號:深度學習自然語言處理】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 0人收藏

    評論

    相關(guān)推薦

    自然語言處理與機器學習的關(guān)系 自然語言處理的基本概念及步驟

    自然語言處理(Natural Language Processing,簡稱NLP)是人工智能和語言學領(lǐng)域的一個分支,它致力于研究如何讓計算機能夠理解、解釋和生成人類語言。機器學習(Ma
    的頭像 發(fā)表于 12-05 15:21 ?1369次閱讀

    語音識別與自然語言處理的關(guān)系

    在人工智能的快速發(fā)展,語音識別和自然語言處理(NLP)成為了兩個重要的技術(shù)支柱。語音識別技術(shù)使得機器能夠理解人類的語音,而自然語言處理則讓
    的頭像 發(fā)表于 11-26 09:21 ?959次閱讀

    ASR與自然語言處理的結(jié)合

    ASR(Automatic Speech Recognition,自動語音識別)與自然語言處理(NLP)是人工智能領(lǐng)域的兩個重要分支,它們在許多應(yīng)用緊密結(jié)合,共同構(gòu)成了自然語言理解和
    的頭像 發(fā)表于 11-18 15:19 ?753次閱讀

    自然語言處理與機器學習的區(qū)別

    在人工智能的快速發(fā)展自然語言處理(NLP)和機器學習(ML)成為了兩個核心的研究領(lǐng)域。它們都致力于解決復雜的問題,但側(cè)重點和應(yīng)用場景有所不同。 1. 自然語言
    的頭像 發(fā)表于 11-11 10:35 ?1173次閱讀

    圖像識別技術(shù)包括自然語言處理

    計算機視覺技術(shù)對圖像進行處理、分析和理解,從而實現(xiàn)對圖像的目標、場景、行為等信息的識別和理解。圖像識別技術(shù)包括圖像預(yù)處理、特征提取、分類器設(shè)計、模型訓練等多個環(huán)節(jié)。 1.2 自然語言
    的頭像 發(fā)表于 07-16 10:54 ?1138次閱讀

    用于自然語言處理的神經(jīng)網(wǎng)絡(luò)有哪些

    取得了顯著進展,成為處理自然語言任務(wù)的主要工具。本文將詳細介紹幾種常用于NLP的神經(jīng)網(wǎng)絡(luò)模型,包括遞歸神經(jīng)網(wǎng)絡(luò)(RNN)、長短時記憶網(wǎng)絡(luò)(LSTM)、卷積神經(jīng)網(wǎng)絡(luò)(CNN)、變換器(Transformer)以及預(yù)訓練模型如BERT
    的頭像 發(fā)表于 07-03 16:17 ?1826次閱讀

    自然語言處理技術(shù)有哪些

    自然語言處理(Natural Language Processing,簡稱NLP)是人工智能領(lǐng)域的一個分支,它致力于使計算機能夠理解、解釋和生成人類語言自然語言
    的頭像 發(fā)表于 07-03 14:30 ?1751次閱讀

    自然語言處理模式的優(yōu)點

    自然語言處理(Natural Language Processing,簡稱NLP)是人工智能領(lǐng)域的一個重要分支,它致力于使計算機能夠理解、生成和處理人類語言。隨著技術(shù)的發(fā)展,
    的頭像 發(fā)表于 07-03 14:24 ?1008次閱讀

    自然語言處理技術(shù)的核心是什么

    自然語言處理(Natural Language Processing,簡稱NLP)是人工智能領(lǐng)域的一個重要分支,其核心目標是使計算機能夠理解、生成和處理人類語言。NLP技術(shù)的發(fā)展已經(jīng)取
    的頭像 發(fā)表于 07-03 14:20 ?1375次閱讀

    自然語言處理是什么技術(shù)的一種應(yīng)用

    自然語言處理(Natural Language Processing,簡稱NLP)是人工智能和語言學領(lǐng)域的一個分支,它涉及到使用計算機技術(shù)來處理、分析和生成
    的頭像 發(fā)表于 07-03 14:18 ?1526次閱讀

    自然語言處理包括哪些內(nèi)容

    自然語言處理(Natural Language Processing,簡稱NLP)是人工智能領(lǐng)域的一個重要分支,它涉及到計算機與人類語言之間的交互。NLP的目標是讓計算機能夠理解、生成和處理
    的頭像 發(fā)表于 07-03 14:15 ?1440次閱讀

    自然語言處理屬于人工智能的哪個領(lǐng)域

    之間的交互,旨在使計算機能夠理解、生成和處理自然語言自然語言處理:人工智能的皇冠上的明珠 引言 人工智能作為一門跨學科的研究領(lǐng)域,涵蓋了計算機科學、數(shù)學、心理學、
    的頭像 發(fā)表于 07-03 14:09 ?1865次閱讀

    什么是自然語言處理 (NLP)

    自然語言處理(Natural Language Processing, NLP)是人工智能領(lǐng)域中的一個重要分支,它專注于構(gòu)建能夠理解和生成人類語言的計算機系統(tǒng)。NLP的目標是使計算機能夠像人類一樣
    的頭像 發(fā)表于 07-02 18:16 ?1562次閱讀

    自然語言處理技術(shù)的原理的應(yīng)用

    自然語言處理(Natural Language Processing, NLP)作為人工智能(AI)領(lǐng)域的一個重要分支,旨在使計算機能夠理解和處理人類自然語言。隨著互聯(lián)網(wǎng)的普及和大數(shù)據(jù)
    的頭像 發(fā)表于 07-02 12:50 ?966次閱讀

    神經(jīng)網(wǎng)絡(luò)在自然語言處理的應(yīng)用

    自然語言處理(NLP)是人工智能領(lǐng)域中的一個重要分支,它研究的是如何使計算機能夠理解和生成人類自然語言。隨著人工智能技術(shù)的飛速發(fā)展,神經(jīng)網(wǎng)絡(luò)在自然語言
    的頭像 發(fā)表于 07-01 14:09 ?727次閱讀
    主站蜘蛛池模板: 久久这里只有精品国产精品99 | 国产最猛性XXXX69交 | 青柠在线电影高清免费观看 | gogogo在线观看 | 国产99精品在线观看 | 国产久久热99视频 | 9277高清在线观看视频 | 国产婷婷综合在线视频中文 | 伊人久久大香线蕉影院95 | 先锋资源久久 | 含羞草免费完整视频在线观看 | 97久久伊人精品影院 | yellow免费观看在线 | 久久精品免费电影 | 欧美自拍亚洲综合图区 | 国产区免费在线观看 | 国产MD视频一区二区三区 | 俄罗斯女人Z0ZOZO | 亚洲AV久久无码精品蜜桃 | 古代荡乳尤物H妓女调教 | 日韩av无码在线直播 | 青柠在线观看视频在线 | 9久高清在线不卡免费无吗视频 | 调教椅上的调教SM总裁被调教 | 国产AV亚洲国产AV麻豆 | 国产亚洲色婷婷久久精品99 | 色综合伊人色综合网站 | 亚洲视频精品在线观看 | 浴室里强摁做开腿呻吟的漫画男男 | 国产成人精品精品欧美 | 韩国无遮羞禁动漫在线观看 | 无限资源日本2019版免费 | 夜夜澡人人爽人人喊_欧美 夜夜骑夜夜欢 | 成人中文在线 | 宅男午夜大片又黄又爽大片 | 中文字幕亚洲无线码一区 | 国产精品亚洲第一区二区三区 | 久久精视频| 欧美性最猛xxxx在线观看视频 | 国产东北男同志videos网站 | [高清无码] 波多野结衣|

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學習
    • 獲取您個性化的科技前沿技術(shù)信息
    • 參加活動獲取豐厚的禮品