前言

最近，大語言模型（LLMs）在許多任務上表現出接近人類水平的性能，這引發了行業興趣和資金投入的激增，有關LLMs的論文最近也層出不窮。

看起來，NLP領域似乎已被LLMs占滿，這讓一些研究者感到無所適從，尤其是那些剛入行的博士生們，他們可能會認為，“LLMs似乎已經解決了所有NLP的子任務！那我還能做些什么呢？”

事實上，NLP不僅僅是LLMs。NLP的應用遠比簡單地預測下一個詞要廣泛得多。此外，LLMs的訓練需要大量數據和計算資源，這對于大多數研究者來說難以承擔。

這篇論文是由美國某NLP研究實驗室的成員撰寫的，旨在探討LLM時代NLP研究的未來。這些成員圍繞一個問題進行了頭腦風暴：除了LLMs的開發外，還有哪些有趣的、不依賴于付費資源的研究領域適合作為博士論文的研究方向。（劇透一下：還有很多這樣的研究領域！）

下面我們來介紹一下文中所提到的一些適合研究的有趣方向。

論文：A PhD Student’s Perspective on Research in NLP in the Era of Very Large Language Models
地址：https://arxiv.org/pdf/2305.12544.pdf
項目：https://bit.ly/nlp-era-llm

多語言模型/處理低資源語言

多語言模型是能夠處理多種語言的模型，但開發多語言模型中，如何利用低資源語言仍然是一個主要挑戰。因為低資源語言的訓練數據有限。目前的方法包括數據增強、并行語料庫挖掘和光學字符識別(OCR)等。

然而，最先進的機器翻譯模型（如NLLB-200）在許多低資源語言（如非洲語言）上仍然表現較差。即使是ChatGPT在馬拉地語、巽他語和商務語等低資源語言上的翻譯效果也很差。此外，ChatGPT在低資源語言到英語的翻譯中表現相當好，但在英語到低資源語言的翻譯中表現不佳。

研究方向

在當前低資源的語言基準上（如FLORES-200）改進機器翻譯性能。針對資源極低的語言，可以利用圣經（世界上翻譯最多的文檔）等現有文本作為開發機器翻譯系統的起點。此外，手動創建平行語料庫和利用構詞法模型開發翻譯詞典等方法也是重要的研究路徑。

提高適用于所有語言的多語言模型的性能。目前的多語言模型在各種語言上的表現不一致，需要進一步探索多語言模型需要的數據量以及在哪種語言組合上能夠實現相似的性能。此外，通過cross-lingual projection和利用現有的機器翻譯系統，將模型架構轉移到其他語言也是一個研究方向。

Code-switching。Code-switching是指說話者在不同語言之間切換的現象，這種訓練數據很難獲得。目前的研究重點包括LLMs是否可以生成這類數據，探索LLMs在不同語言組合上的泛化能力以及在區分高度相似語言（如同一母語下的不同方言）上的學習能力。

LLMs的推理能力

NLP中的推理對于問答、閱讀理解和對話系統等任務至關重要，因為它可以增強模型在未知場景中的泛化能力。從基于規則和符號的方法到概率模型和機器學習算法的統計方法，NLP研究經歷了巨大變化。近年來，深度學習和神經網絡徹底改變了這一領域，在各任務上取得了先進性能。然而，要實現類似人類的推理和泛化能力仍面臨挑戰。

研究方向

穩健的形式推理。形式推理一直是一個具有挑戰性的任務，LLMs遠未完全掌握數值推理等形式推理、邏輯推理和因果推理任務。為此，研究人員致力于探索結合神經網絡和符號人工智能的優勢，例如通過集成計算器、python程序、數據庫知識檢索或搜索引擎，提升模型在形式推理方面的準確性和魯棒性。

在現實世界中的推理。由于NLP模型的訓練主要依賴于與文本世界的交互，因此在推理過程中缺乏現實世界經驗的基礎。這可能導致模型在生成響應時缺乏實際可行性或考慮不到現實約束。為了解決這一問題，研究人員正在探索整合外部知識來源、多模態數據或模擬現實世界場景的方法，以提升模型的推理能力。

社會環境中的負責任推理。模型將需要做出復雜的決策，其中包括道德推理。例如，在創建網站時，可能需要考慮一些道德選擇，如迎合特定的亞群體，或過度優化用戶注意力或點擊率。在理解或提高AI系統在不同社會背景和文化背景下對社會復雜和道德相關的場景進行推理的能力方面，還有很多需要研究的地方。

正式定義推理，設計合適的評價框架。當前的挑戰之一是，如何定義LLMs的推理？當模型記住一個推理模式時，我們應該將其視為推理技能還是對知識的掌握？除此之外，我們還面臨著如何測試模型推理能力的問題。數據污染、古德哈特定律（一旦數據集被利用就無法反映技能）以及缺乏可靠的評估指標來評估多步推理等問題仍待解決。

提示如何幫助推理？有兩種類型的提示對于提升推理能力非常有價值：in-context learning和思維鏈（CoT）。然而，LLMs到底是在進行真正的推理，還是僅僅生成統計上相似的序列，以及AI系統在多大程度上可以從幾個示例中學習推理，這些問題仍存在爭議。

知識庫

知識庫從現實世界抽象出概念、實體及其關系，在許多應用中發揮著重要作用，例如關系提取和機器閱讀。當前的LLMs在內部知識方面仍存在局限性。無論是一般知識、特定領域知識都存在限制。此外，LLMs經常會出現幻覺，根據錯誤的事實提出主張。雖然基于人類反饋的強化學習（RLHF）可以減輕這個問題，但幻覺問題仍然是模型固有的。通過結合知識庫改進模型的輸出，可以減少幻覺，使用戶更容易驗證主張的正確性。

研究方向

Knowledge-guided LLM。為了解決幻覺問題，可以將經過驗證的知識與LLMs的回復進行結合。已經有研究人員嘗試使用DialogGPT等系統來檢索或生成知識，以增強生成的回應。Bing等搜索引擎也會在回答問題之前進行網絡查詢。然而，如何有效地與定制的外部知識庫進行交互仍然是一個待解決的問題。

自動構建知識庫。許多應用程序可以從專門的知識庫中受益。自動構建這類知識庫是一個有趣的研究方向，但也面臨著許多挑戰，如知識覆蓋范圍、知識真實性、知識鏈接等。在構建醫療保健或化學等專業領域的知識庫時，這些挑戰會更加突出。然而，一旦這些問題得到解決，研究人員將能夠利用LLMs動態地管理來自最新原始文本和復雜應用本體的知識庫，例如跟蹤來自PubMed文章的藥物相互作用。

一般和文化常識。NLP模型中可用的文化知識通常僅限于少數西方文化，無法涵蓋世界文化觀點的多樣性。隨著NLP應用的廣泛傳播，這種限制可能直接影響用戶，因為它沒有考慮到用戶的價值觀、信仰和世界觀。此外一個主要的開放研究方向是如何獲取和表達編碼這些文化觀點的知識，以及何時和如何調用這些文化知識。

Language Grounding

Language Grounding是語言與世界（可以是物理的或非物理的）的事物或經驗聯系起來的能力，如TextWorld等文字游戲。該領域的探索主要利用多模態數據構建數據集和任務。視覺問答、圖像和視頻字幕、文本到圖像檢索以及文本到圖像/視頻生成等流行任務已經取得了重要進展。越來越多的多模態模型（如GPT-4）不斷擴大其訓練語料庫，并增加音頻等多樣輸入的支持。

盡管GPT-4展示了令人印象深刻的zero-shot性能，超越了大多數微調但規模較小的多模態模型，但它們也存在一些成本與限制。首先，它們缺乏對世界的真正理解，無法具備領域知識，在現實生活中的應用有一定局限性。其次，這些模型往往難以解釋，我們難以理解其生成新數據時的不可靠行為，如幻覺問題。最后，由于昂貴的計算資源需求，只有少數大學和機構能夠負擔得起適當使用這些模型。

研究方向

有效結合多種模態。如何最佳地整合音頻、視頻、文本等不同模態仍然是一個待解決的問題。不同模態通常相互補充（例如，手勢可以輔助口頭表達），從而減少對大量數據的依賴。然而，在某些情況下，不同模態可能會相互競爭，一些研究表明，在特定情況下單模態模型優于多模態模型。

較少研究的模態。大部分研究都集中在視覺、文本或音頻模態上。然而，在Language Grounding的背景下，較少研究的模態，如生理、感覺或行為，對于多種應用具有重要價值，例如測量駕駛員的警覺性、抑郁檢測或欺騙行為檢測。

在現實世界和不同領域中的應用。大部分研究都基于在實驗室環境中收集的數據，或者基于室內活動（如電影或烹飪）的圖像和視頻數據。在現實世界和戶外環境中Grounding的研究相對較少。此外，將這些模型應用于不同領域（如機器人、醫學、導航、教育和可訪問性）需要適應使用較少的數據點或不同類型的數據，并結合領域專業知識以更好地理解外部環境。

網絡環境中的NLP

網絡環境中的NLP可分為兩個對立的現象：內容生成和審核。內容的快速生成得到了廣泛支持，但也存在制造假新聞和虛假信息的風險，需要及時審核和監管。通過使用NLP來監控和分析用戶生成的內容，可以保持在線生態系統的平衡。

然而，內容生成和審核仍然存在一些問題。在生成方面，需要識別潛在的惡意操縱。在審核方面，現有的審核模型仍然不夠透明、準確、可問責和理解。此外，構建用于檢測不需要的內容的模型面臨分類困難、數據標注耗時和學術數據集不足等挑戰。

研究方向

檢測和揭穿在線錯誤信息。NLP系統可以幫助事實核查員減緩誤導性內容的傳播。同時，需要發展低資源和跨語言的NLP系統來幫助解決錯誤信息問題。多模態處理和社交網絡分析（例如誰喜歡或轉發了該內容）也可提高錯誤信息檢測效果。

確保多樣化的代表性。隨著LLMs的普及，需要注意防止網絡上的聲音過度集中，特別是邊緣化群體的代表性。

避免過度審核。內容審核技術應考慮到不同群體和文化環境中的細微差異，以確保公平性。同時，需要關注政府對在線討論話題的限制，維護言論自由。

識別生成內容背后的涉眾。隨著機器生成內容的增加，識別值得信任的信息將變得更加具有挑戰性。發展NLP模型以識別生成內容背后的利益相關者及其利益類型，如商業利潤或政治利益，是一個有希望的方向。

兒童語言習得和LLM之間的聯系

兒童語言習得作為一個基線，在通往高效AGI的道路上具有重要意義。兒童通過有限的互動和觀察就能掌握多種語言，而不需要海量訓練文本。研究探索LLMs與兒童語言習得之間的聯系，并借鑒統計學習的背景。這一領域的發展對于低資源和瀕危語言具有廣泛的影響。

然而，要實現這一研究還存在許多挑戰，由于研究兒童的困難性，包括招募和倫理審查委員會對數據收集的限制。兒童無法有效地交流，往往只能獲得有限的數據，這限制了實驗的設計和數據的表達能力。在兒童語言研究中，通常需要父母的參與，以確保孩子專注于實驗并遵循指導。此外，難以控制實驗對象也導致難以控制混雜變量。

研究方向

樣本高效的語言學習。對樣本高效語言學習進行基礎和理論研究，并開發更高效的NLP工具，是十分必要的。一個相關方向是設定樣本高效語言學習的基線，以推動數據效率方面的進展。

兒童語言習得的基準發展。簡化和擴展子語言基準的構建，利用大型視頻數據集進行控制實驗，培養專門為兒童學習語言設計的模型，以深入理解兒童語言使用和開發更有效學習模型的方式。

語言模型作為兒童語言習得的生物學模型。將NLP模型視為生物模型，探索人類嬰兒語言習得的理論。利用現有數據集和新的基準以及強大的語言模型，進行實驗研究，分析語言習得過程，獲得關于兒童語言習得的新見解，如音位級習得和內在獎勵機制等。

非語言交流

非語言交流是一種重要的人際交流形式，包括手勢、面部表情、肢體語言和姿勢等。最近的研究強調將非語言信息與語言表征相結合，以獲得更豐富的表征。理解非語言模式和語言之間的一致性仍然是一個未解決的問題，特別是考慮到這些模式的不同特點和解釋的挑戰。例如，在手語研究中，仍需解決許多問題，包括手語數據集的構建和有效計算模型的開發。

研究方向

非語言信息的表征。非語言交際的多個子領域需要對非語言信息進行表示、離散化和解釋的研究。需要找到適用于不同模式、上下文和文化的理想表征集，以實現面部表情和手勢的解釋并確保在不同模式下的一致性。

手語的理解、生成和翻譯。手語詞匯和語料庫的發展對于訓練和評估計算模型至關重要。理解手語的挑戰包括手勢的高度可變性和其他非手動特征的影響，如面部表情、身體姿勢和眼睛注視。同時，手語生成的研究旨在提高手語交流的流暢性和表達力，涉及同一手語使用者之間、使用不同手語的人以及口頭和手語同時存在的情況。

有效的語言和非語言溝通。在溝通過程中，語言和非語言信號都應該被綜合考慮。建立能夠理解和解釋語言和非語言信號的聯合模型是AI輔助通信的長期目標。研究問題包括語言模型的發展以及有效的融合方法，以實現同時進行語言和非語言交流的大型聯合模型。

合成數據集

當傳統的人類數據收集變得不可行、昂貴或存在隱私問題時，在NLP研究中通常需要使用合成數據。隨著生成模型的發展，合成數據生成已經在各個領域得到了廣泛應用。例如，用于低資源語言的反向翻譯、語義解析、意圖分類、結構化數據生成或醫學對話生成等方面都有相關的例子。如果需要在特定領域進行適應，通常需要對模型進行預訓練，并通過提示模型生成數據集，然后使用自動或專家驗證的方式評估生成數據集的質量。

然而，使用合成數據也面臨一些挑戰。其中包括數據質量控制困難（由于缺乏文本生成的評估指標）、缺乏多樣性、數據生成模型中存在的潛在偏差，以及數據生成模型固有的限制，例如難以捕捉遠程依賴關系。

研究方向

知識蒸餾。研究如何將LLM的知識轉移到較小的模型中。這個任務可以通過將LLM的輸出用作合成示例來實現，這種方法可以轉換或控制生成的數據的特性。研究者們還嘗試使用微調的模型來過濾質量，并使用更小、更集中的模型來模擬LLM的行為（如Alpaca）。

控制生成的數據屬性。目前的方法是通過提供自然文本規范和示例來控制生成數據的屬性。然而，優化這些提示通常是基于試錯，而且指定屬性可能不夠準確或存在噪聲。因此，開發魯棒、可控和可復制的合成數據生成范式仍然是一個待解決的研究問題。

轉換現有的數據集。關注如何通過對現有數據集進行各種修改來創建新的數據集，同時保持數據的語義不變。常見的轉換方法包括格式更改、情態轉換和風格轉換，以實現不同樣式的數據生成，如將文本從一種寫作風格轉換為另一種風格。

NLP的可解釋性

可解釋性是理解和解釋機器學習模型決策過程的任務，旨在增加其透明性和合理性，以促進可信的NLP實踐。過去的NLP系統，如基于規則的方法、隱馬爾可夫模型和邏輯回歸等，被認為是可解釋的白盒技術。然而，NLP的最新進展主要是黑盒方法，以可解釋性為代價。為了解決這個問題，研究人員開始關注開發能夠揭示NLP模型內部工作原理的技術。這些技術包括注意機制、基于規則的系統和可視化方法。

當前的NLP可解釋性研究主要集中在理解模型的預測、特征重要性和決策過程等方面。注意力機制、LIME和SHAP等技術提供了對模型行為的洞察。然而，在健壯性、普遍性和倫理考慮等方面仍存在挑戰。此外，可解釋性方法通常缺乏標準化，難以處理復雜的大型模型，限制了它們在實際場景中的應用。

研究方向

探索模型內部表征。研究NLP模型的內部表征，以揭示其推理能力和潛在偏差，并探索模型對語言的探測任務和世界知識的捕獲。

機制解釋性。研究模型中的潛在機制和算法，以揭示其決策過程，并通過提取計算子圖和逆向工程整個深度神經網絡來實現機制解釋性。

Human-in-the-loop提高可解釋性。結合人的反饋和專業知識來提高模型的可解釋性，促進透明度和信任，并識別和解決偏見和道德考慮。

基于引用生成的文本。通過附加引用和顯示額外推理步驟，為生成模型的輸出提供可靠的來源，以提高可解釋性和用戶信任度。

高效的NLP

為了應對不斷擴大的語言模型規模和不斷增長的資源消耗所帶來的挑戰，我們需要探索高效的NLP。擴大模型規模被認為是實現NLP任務最先進性能的基本方法，但這需要大量能源和財政資源，引發了對AI碳足跡和NLP產品開發經濟負擔的擔憂。在數據管理、模型設計和訓練范例方面，我們仍有很大的改進空間。通過處理數據重復、提高數據質量和管理大量數據，可以提高數據效率。在模型設計方面，提高注意機制效率、開發無參數模塊減少參數量、優化模型深度或效率是主要挑戰。最后，在訓練范例方面，有機會通過promot和微調提高NLP效率。

研究方向

數據的效率。通過刪除重復、冗余或噪聲數據，以更少的數據項提高性能。目前的工作主要關注去除噪聲示例和無用數據，但對于龐大的語料庫或原始web數據管理，需要更有效的數據重復刪除方法。

模型設計。改進注意力機制來提高模型效率的方法已經被廣泛研究，但在處理非常長的上下文建模方面仍存在挑戰。稀疏模型可以通過增加寬度來增加表達性，同時降低計算量。基于Transformer的模型的前饋層中應用混合專家架構也是一種值得嘗試的實踐。

高效的下游任務適應。通過微調預訓練模型來適應下游任務的有效方法已經被提出，其中包括prompt tuning和prefix tuning等技術。然而，需要找到一種高效的自動提示構建方法，以提高下游任務的適應性。

面向教育的NLP

NLP在教育領域的應用涵蓋了多個方面，如語言學習應用程序、語法糾正工具、評分輔助工具、課程和評估開發工具以及教育研究人員的工具。近年來，隨著BERT、RoBERTa等模型的發布，研究人員開始探索這些模型在教育領域的應用，并逐漸引入更大規模的模型。目前，許多在教育領域部署的NLP應用是在廣泛使用大型語言模型之前開發的。隨著進一步的研究和發展，我們很可能會看到基于大型語言模型的任務特定模型在教育領域得到大規模應用。

研究方向

可控文本生成。可控的文本生成技術可以用于個性化的學習體驗。例如，通過自動生成與學生興趣相關的故事來引入新術語，或者根據學生的閱讀水平修改故事內容。此外，閱讀理解方面的研究也可以應用于基于學生先前經驗和測試結果的個性化學習體驗。

教育解釋生成。個性化的課堂材料可以包括針對學生理解困難的解釋。例如，使用NLP系統幫助學生理解學術論文中復雜的句子，或者改寫老師給出的答案，以提供與學生知識體系相關的解釋。自動評分也是NLP在教育領域做出貢獻的一個領域，但仍存在著為不完美的分數提供解釋的研究問題。

智能輔導系統。智能輔導系統在個性化教育方面具有巨大的潛力。NLP方法可以用于生成針對性的練習題，并解釋學生在各個學科領域的錯誤。隨著NLP技術的進一步發展，這些系統可能會得到改進。然而，部署NLP技術在教育中需要謹慎，因為即使對于簡單的問題，NLP模型也可能給出錯誤的答案和解釋。

需要注意的是，由于學術不誠實的可能性增加，教育界對于大型語言模型的接受度存在一定的擔憂。因此，大學和課程制定了政策來規范人工智能在教育中的使用。我們對于最近的進展在適當情況下對教育產生積極影響持樂觀態度，但整體課程如何調整以納入大型語言模型的應用仍需觀察。

面向醫療保健的NLP

在醫療保健領域，NLP的應用可以分為對醫療服務提供者和關鍵利益相關者的影響進行分類。對于醫療服務提供者而言，NLP主要用于支持臨床決策，包括匯總和整合現有數據和研究，以及從數據中提取相關信息。然而，這些任務面臨著一些挑戰，例如醫療保健數據的標準化和準確標記，以及提取和檢索醫療概念和患者病情分類。此外，NLP還用于回答患者的健康相關問題和檢索與醫療或疾病相關的信息。近年來，該領域的研究主要集中在心理健康領域的語言分析，包括專業治療和社交媒體對話。在協助公共衛生官員方面，NLP被應用于公共衛生監測，用于確定疾病、風險因素或高危人群。此外，NLP還用于緩解網絡上的錯誤信息或公眾情緒等問題。

然而，NLP在醫療保健領域存在一些明顯的局限性。其中之一是缺乏高質量、帶注釋的臨床數據。臨床數據對于開發臨床決策工具至關重要，但由于隱私和道德問題，通常無法公開獲取。此外，目前的工作主要集中在英語或其他高資源語言，對于少數語言的研究相對較少。同時，缺乏對基于NLP的衛生系統的人類評估也是一個挑戰，因為現有的自動評估指標并不能充分說明患者的結果。

研究方向

醫療保健基準構建。在醫療保健領域，需要構建更多的基準數據集，以支持各種任務的研究和開發。由于醫療數據的隱私限制，可能需要探索使用合成數據集、數據增強技術或以低資源語言和領域為基礎生成新的衛生數據集的方法。此外，對于已有的基準數據集，還需要進行評價和質量評估的研究。

NLP用于臨床決策。NLP系統可以用作頭腦風暴和決策工具，幫助醫療專家進行評估和決策過程。它們可以合成新的醫學知識，并將其提供給醫療從業人員。此外，將一般醫學知識與個人患者信息結合起來需要新的知識集成策略。由于臨床決策的高風險性，NLP系統的可靠性和可解釋性至關重要，以提供清晰的推理過程。

藥物發現。NLP方法可以從大量的科學文獻、專利、社交媒體、臨床記錄和其他生物醫學來源中提取和分析信息。研究方向包括藥物-靶標相互作用的識別和優先排序、新候選藥物的發現、化合物性質的預測以及藥物設計的優化。此外，新的NLP方法可以幫助識別新的藥物靶標關聯，并促進更有效的藥物再利用工作。

NLP的道德/倫理問題

目前研究致力于解決雙重使用、公平性和隱私等關鍵倫理問題。除此之外，近期LLM的使用和應用還存在其他倫理關注點，包括版權缺失、模型解釋性差、技能退化、勞動力市場的破壞、模型誤用和模型不適用等。

研究方向

雙重使用。許多NLP應用可能既具有積極影響，又可能被以有害方式使用。需要通過在部署前進行討論和在部署后進行數據調查來確定NLP模型和應用的潛在危害。此外，開發能夠檢測、抑制和防止有害使用的NLP系統，如事實核查器，至關重要。對抗性NLP也可以用于探索NLP系統的局限性和漏洞，以提高其魯棒性。

公平性。需要方法來評估NLP模型的公平性，并檢測和減少偏見。這包括研究數據集創建實踐及其與模型偏見的相關性。研究應該探討是否通過對數據集創建提出更嚴格的要求，可以減少模型在偏見數據上訓練或評估時可能加劇的偏見和不平等。

隱私保護。需要新的技術來識別和匿名化敏感用戶信息，同時保持數據在分析和決策中的實用性。這包括差分隱私、聯邦學習和安全多方計算等方法，以確保NLP驅動的醫療應用中患者數據的機密性和安全性。此外，NLP系統可以對數據政策產生影響，可以開發NLP方法來以用戶可理解的格式總結數字產品的數據政策，并確保模型與這些政策保持一致。

機器生成數據的版權和檢測。在NLP模型生成內容時，開發NLP模型可以使用的版權標準方法至關重要。需要確定所有權和權利的問題，特別是在領域如編程或創意寫作中將LLM納入工作流程。

將NLP模型作為人類助手而非人類替代品進行整合.可以利用NLP模型進行人類培訓應用，改善人類的拼寫、寫作和閱讀理解能力。

結語

這篇論文關注的研究領域可以分成三類：首先，有一些領域因為要求太多數據或者缺乏推理和基礎能力，LLMs無法解決。其次，還有一些領域由于缺乏適合的數據，也不能充分利用LLMs的能力。最后，還有一些領域可以為提升LLMs的能力和質量做出貢獻。需要注意的是，作者沒有列出那些LLMs在信息提取、問答和文本摘要等方面表現稍顯落后的領域。而且，作者也沒有深入研究LLM開發的方向，因為這方面已經有很多研究論文在關注了。

審核編輯 ：李倩