色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

自然語言常用的自回歸解碼方法

深度學習自然語言處理 ? 來源:金琴(知乎) ? 2024-03-28 10:51 ? 次閱讀

本文為大家分享自然語言生成中的解碼方法,主要包括兩部分:自回歸生成中常用的解碼方法,以及適用于大模型推理加速的speculative decoding方法。

1.自回歸生成中常用的解碼方法

在生成文本序列時,由于全局搜索整個序列所需的計算成本極高,我們通常使用自回歸生成(autoregressive generation),即逐個生成token,如下圖所示。目前最常用的解碼方法(即選擇token的方法)包括:貪心搜索、波束搜索、top-k采樣和top-p采樣。此外,本文也會介紹通過改變概率分布來控制生成效果的temperature和repetition penalty。

45db4678-ec57-11ee-a297-92fbcf53809c.jpg

貪心搜索(Greedy Search)

在每個時間步,我們會基于已生成的文本來計算詞表中各詞語的概率分布,最直接的方法就是選擇概率最大的詞。

45e4ba3c-ec57-11ee-a297-92fbcf53809c.jpg

貪心搜索的生成速度很快,短序列看起來效果也還可以,但很快就會出現語言不流暢、重復、缺乏多樣性等問題。其主要問題是可能會忽略那些低概率詞后可能出現的高概率詞。比如在下圖示例中,整體概率更高的序列“The dog has”就被漏掉了。

45eba0f4-ec57-11ee-a297-92fbcf53809c.jpg

波束搜索 (Beam search)

為了解決上述問題,人們引入了波束搜索的方式。也就是在每一步中,都保留概率最高的k個序列,如下圖所示。

45f5a2f2-ec57-11ee-a297-92fbcf53809c.jpg

在選擇beam size時,較小的值會使解碼速度更快,但生成的結果可能會出現與貪心搜索類似的問題。較大的值可以緩解這些問題,但計算成本會增加。而且對于對話生成等開放領域任務,較大的beam size還可能會傾向于生成更通用的回復。

45fee4de-ec57-11ee-a297-92fbcf53809c.jpg

總的來說,beam search在機器翻譯、文章摘要等任務中效果較好。但是,由于它仍然是基于最大概率的方法,所以不適用于需要多樣性和創造力的開放域任務。

Top-K采樣 (Top-K sampling)

為了使生成的文本更具創新性和多樣性,人們在選擇token的策略中引入了一定的隨機性,也就是從一部分詞中進行隨機采樣。最基礎的方法就是top-k采樣,即選擇概率最高的k個詞,基于這些詞的概率分布進行采樣。

在選擇k值時,較大的值會使生成的內容更具多樣性,但可能會生成不合理的內容;較小的值則使生成的內容多樣性較低,但質量更有保證。我們可以根據任務的不同選擇合適的k值。

由于top-k采樣的k值是固定的,不同的概率分布可能會帶來不同的問題。如圖所示,當概率分布較平坦時(上半圖),top-k采樣可能會剔除許多概率相近的合理詞語;而當概率分布較陡峭時(下半圖),可能會保留一些概率很低的不合理詞語。因此,我們可以考慮動態調整k值,也就是實施top-p采樣。

460c4994-ec57-11ee-a297-92fbcf53809c.jpg

Top-P采樣 (Top-p sampling)

如上文所述,top-p采樣的思路是根據具體的概率分布情況來調整k值的選擇。具體地,從累積概率超過某個閾值 p 的k個詞中進行隨機采樣。基于此,以上討論的兩種問題都能得到解決。

461962e6-ec57-11ee-a297-92fbcf53809c.jpg

Temperature

除了改變選詞策略,我們還可以通過調整概率分布來改變生成效果,一個常用的思路是在概率分布的Softmax函數中引入Temperature參數(下圖公式中的τ)。

4627645e-ec57-11ee-a297-92fbcf53809c.jpg

Temperature的取值一般在0-1之間,值越大,概率分布越平緩,生成的序列更具多樣性,適合于需要創造性的任務;值越小,概率分布越陡峭,生成的序列更穩定,適合于需要準確度的任務。

462eb66e-ec57-11ee-a297-92fbcf53809c.jpg

Repetition Penalty

在文本生成中,重復性高是一個常見問題。一個常用的解決方法是降低已生成詞的概率,即在Softmax函數中對已生成的詞額外除以一個θ。一般來說,該值取1.1或者1.2即可。

463a3d90-ec57-11ee-a297-92fbcf53809c.png

2.Speculative Decoding方法

在大模型的時代,隨著模型參數量增加,生成token所需的訪存時間大大增加,傳統的串行式的自回歸生成方法不再適用。為了提高大模型的推理速度,近年來,許多研究開始關注speculative decoding,一種Draft-then-Verify的解碼方法。如下圖所示,在Draft階段,先用更高效的方式生成長度為k的序列;然后在Verify階段,將該序列輸入大模型,一次性驗證這k個token是否合理,并修改不合理的token。

4643e796-ec57-11ee-a297-92fbcf53809c.jpg

該方法的動機主要源于兩點:(1)序列中的許多簡單詞可以用更有效、更簡單的方法生成。例如,在以下序列"Geoffrey Hinton did his PhD at the University of Edinburgh."中,"of"很容易判斷,我們完全可以使用1B的模型來代替100B的模型;(2)傳統自回歸生成的推理過程主要受限于訪存速度,即生成每個token時都需要等待LLM的參數讀寫。使用draft-then-verify的思路,雖然目標大模型的計算量沒變,但是內存訪問時間大大降低了。

46593c40-ec57-11ee-a297-92fbcf53809c.jpg

為了更清晰地展示speculative decoding的過程,我們以下圖為例。在每一步,Draft階段會生成5個token,綠色的是目標模型確認的token,紅色是目標模型第一個拒絕的token,藍色是經過修正的token(注意,第一個被拒絕的token之后的所有token都將被丟棄)。比如第一步,Draft階段生成了5個token,目標模型接受輸入 "[START] Japan ’ s benchmark bond",計算每個token位置對應的概率分布,然后拒絕了 "bond",并基于概率分布采樣,將其改為 "n"。

46630036-ec57-11ee-a297-92fbcf53809c.jpg

可以發現,在Speculative Decoding中有三部分具體策略:(1)Draft策略,例如使用更小的、與目標模型分布接近的模型進行自回歸生成;(2)Verify策略,例如判斷候選詞是否是目標模型中概率最大的詞;(3)Correct策略,例如使用greedy decoding或者contrastive decoding。近期關于speculative decoding的綜述 [3] 中對不同的方法進行了詳細的總結。

466fe9ea-ec57-11ee-a297-92fbcf53809c.jpg

467d4d38-ec57-11ee-a297-92fbcf53809c.jpg

總結

本文總結了最常用的自回歸解碼方法。進行自回歸文本生成時,大家可以根據各方法的原理調整參數。此外,本文介紹了一種提升解碼效率 (efficiency) 的方法,即speculative decoding方法。除此之外,還可以從提升解碼質量(quality)、可控性 (controllability)、多樣性 (diversity)、可信度 (faithfulness) 等方面繼續進行相關研究探索。

審核編輯:黃飛

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 自然語言
    +關注

    關注

    1

    文章

    291

    瀏覽量

    13396
  • 大模型
    +關注

    關注

    2

    文章

    2543

    瀏覽量

    3111

原文標題:自然語言生成中的解碼方法匯總

文章出處:【微信號:zenRRan,微信公眾號:深度學習自然語言處理】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    python自然語言

    最近,python自然語言是越來越火了,那么什么是自然語言自然語言(Natural Language )廣納了眾多技術,對自然或人類語言
    發表于 05-02 13:50

    自然語言處理怎么最快入門?

    可自己去了解),這里主要推薦一下常用到(Java)的幾個分詞工具:(1)、HanLP 是一個中文自然語言處理的基礎包,它囊括了包含分詞在內的幾乎所有的自然語言處理涉及的基礎操作,同時工具包來說,分為
    發表于 11-28 10:02

    【推薦體驗】騰訊云自然語言處理

    `相信大家對NLP自然語言處理的技術都不陌生,它是計算機科學領域和AI領域中的一個分支,它與計算機和人類之間使用自然語言進行交互密切相關,而NLP的最終目標是使計算機能夠像人類一樣理解語言。目前
    發表于 10-09 15:28

    自然語言處理的分詞方法

    自然語言處理——75 自動分詞基本算法
    發表于 03-19 11:46

    自然語言處理的語言模型

    自然語言處理——53 語言模型(數據平滑)
    發表于 04-16 11:11

    自然語言處理的詞性標注方法

    自然語言處理——78 詞性標注方法
    發表于 04-21 11:38

    自然語言處理——總結、習題

    自然語言處理——79 總結、習題
    發表于 06-19 11:22

    什么是自然語言處理

    什么是自然語言處理?自然語言處理任務有哪些?自然語言處理的方法是什么?
    發表于 09-08 06:51

    深度視頻自然語言描述方法

    針對計算機對視頻進行自動標注和描述準確率不高的問題,提出一種基于多特征融合的深度視頻自然語言描述的方法。該方法提取視頻幀序列的空間特征、運動特征、視頻特征,進行特征的融合,使用融合的特征訓練基于長短
    發表于 12-04 14:07 ?1次下載
    深度視頻<b class='flag-5'>自然語言</b>描述<b class='flag-5'>方法</b>

    自然語言處理常用模型解析

    自然語言處理常用模型使用方法一、N元模型二、馬爾可夫模型以及隱馬爾可夫模型及目前常用自然語言處理開源項目/開發包有哪些?
    發表于 12-28 15:42 ?5931次閱讀
    <b class='flag-5'>自然語言</b>處理<b class='flag-5'>常用</b>模型解析

    什么是自然語言處理_自然語言處理常用方法舉例說明

    自然語言處理是計算機科學領域與人工智能領域中的一個重要方向。它研究能實現人與計算機之間用自然語言進行有效通信的各種理論和方法自然語言處理是一門融
    發表于 12-28 16:56 ?1.8w次閱讀
    什么是<b class='flag-5'>自然語言</b>處理_<b class='flag-5'>自然語言</b>處理<b class='flag-5'>常用</b><b class='flag-5'>方法</b>舉例說明

    自然語言處理怎么最快入門_自然語言處理知識了解

    自然語言處理就是實現人機間自然語言通信,實現自然語言理解和自然語言生成是十分困難的,造成困難的根本原因是自然語言文本和對話的各個層次上廣泛存
    發表于 12-28 17:10 ?5333次閱讀

    自然語言處理方法和應用

    2018CCAI大會邀請到國內NLP領域頂尖學者,蘇州大學特聘教授,計算機學院副院長,人類語言技術研究所所長、國家杰出青年科學基金獲得者的張民教授將以《自然語言處理方法和應用》為題做專題講座。
    的頭像 發表于 06-25 15:44 ?5566次閱讀

    自然語言處理的ELMO使用

    word embedding 是現在自然語言處理中最常用的 word representation 的方法常用的word embedding 是word2vec的
    的頭像 發表于 05-02 14:32 ?3369次閱讀
    <b class='flag-5'>自然語言</b>處理的ELMO使用

    自然語言處理的概念和應用 自然語言處理屬于人工智能嗎

      自然語言處理(Natural Language Processing)是一種人工智能技術,它是研究自然語言與計算機之間的交互和通信的一門學科。自然語言處理旨在研究機器如何理解人類語言
    發表于 08-23 17:31 ?1736次閱讀
    主站蜘蛛池模板: 九九热在线观看视频 | 国产亚洲精品99一区二区 | 亚洲三级在线看 | 精品在线观看一区 | 曰韩一本道高清无码av | 成人久久欧美日韩一区二区三区 | 在线播放免费人成毛片视频 | 秋霞伦理电影在2017韩国在线伦 | 啪啪羞羞GIF男女0OXX动态图 | 欧美成人无码视频午夜福利 | 色多多深夜福利免费观看 | 美女拉开腿让男生桶到爽 | 亚洲日韩在线天堂一 | 99riav9 精品香蕉免费大视频 | 国产精品视频在线自在线 | 2019久久这里只精品热在线观看 | 入禽太深免费视频10 | 富婆大保健嗷嗷叫普通话对白 | 最近日本MV字幕免费观看在线 | 欧美不卡一区二区三区 | 24小时日本在线电影 | 7723手机游戏破解版下载 | 手机在线播放成人亚洲影院电影 | 亚洲精品无码葡京AV天堂 | 国产成人cao在线 | 欧美最猛黑人XXXXWWW | 日本xxxxxxxxx老师59 | 久久精品中文字幕免费 | 久久精品人人做人人爽97 | 免费乱理伦片在线观看夜 | 久欠热视频精品首页 | 乳液全集电影在线观看 | 九九久久国产精品免费热6 九九久久国产精品大片 | 国产欧美一本道无码 | yw193龙物免费官网在线 | 国产女高清在线看免费观看 | 99久女女精品视频在线观看 | 国产免费麻传媒精品国产AV | 东北真实仑乱 | YELLOW高清视频免费观看 | 精品日产1区2卡三卡麻豆 |