今天對百川的RAG方法進行解讀，百川智能具有深厚的搜索背景，來看看他們是怎么爬RAG的坑的吧～

總的來說，百川通過長上下文模型(192k)+搜索增強結合的方法來解決知識更新，降低模型幻覺的問題，使得其在5000萬tokens的數據集中取得95%的精度。其主要在以下幾個方面做優化：

1) Query拓展：這是我自己取的名字，可能不太準確，其主要參考Meta的CoVe[1]以及百川自研的Think Step-Further方法對原始用戶輸入的復雜問題進行拆解、拓展，挖掘用戶更深層次的子問題，借助子問題檢索效果更高的特點來解決復雜問題檢索質量偏差的問題。

2) 優化檢索鏈路：采用稀疏檢索+向量檢索+Rerank結合的方法，來提高檢索的召回率和準確率。并且其自研的Baichuan-Text-Embedding向量模型也登頂了C-MTEB語義向量評測標準。

3) 自我反省機制：百川智能通過self-Critique大模型自省機制來篩選更優質、知識密度更高的內容。

一、概述

1Motivation

1.1 當前檢索增強RAG方法痛點

成本高、召回偏低：擴展上下文窗口+引入向量數據庫能以非常低的成本提高模型對新知識的接入能力，但是擴展上下文窗口容量有限（128k最多容納23萬漢字，相當于658kb文檔），成本比較高，性能下降明顯。向量數據庫也存在召回率偏低、開發門檻高等缺點。

用戶輸入變復雜：與傳統關鍵詞或者短語搜索邏輯不太一致，用戶輸入問題不再是詞或者短句，而是轉變成自然對話聲知識多輪對話數據，問題形式更加多元，緊密關聯上下文，輸入風格更加口語化。

1.2 RAG是當前大模型落地降低幻覺、更新數據的有效方法之一

行業大模型解決方案有后訓練（Post-Train）和有監督微調（SFT），但是仍然無法解決大模型落地的幻覺和實效性問題。

后訓練（Post-Train）和有監督微調（SFT）每次需要更新數據，重新訓練，還可能會帶來其他問題，成本比較大。

2Methods

省流版總結：

百川將長窗口與搜索/RAG（檢索增強生成）相結合，形成長窗口模型+搜索的完整技術棧。

百川RAG方案總結：Query 擴展（參考Meta CoVe + 自研Think Step-Further） + 自研Baichuan-Text-Embedding向量模型 + 稀疏檢索(BM25、ES) + rerank模型 + 自研Self-Critique技術(過濾檢索結果)。

2.1 Query擴展

背景：與傳統關鍵詞或者短語搜索邏輯不太一致，用戶輸入問題不再是詞或者短句，而是轉變成自然對話聲知識多輪對話數據，問題形式更加多元，緊密關聯上下文，輸入風格更加口語化。

目的：拆解復雜的prompt，檢索相關子問題，并深度挖掘用于口語化表達中深層次含義，借助子問題檢索效果更高的特點來解決復雜問題檢索質量偏差的問題。

方法：參考Meta CoVe[1]以及Think Step-Further的方法，對用戶原始的Query進行擴展，拓展出多個相關問題，然后通過相關問題去檢索相關內容，提高召回率。

百川Query擴展方案：

Meta CoVe方案：

2.2 自研Embedding模型

數據：在超過1.5T tokens（看著訓練百川模型的數據都來訓embedding模型了？）。

方法：采用無監督方法（估計類似SimCSE[2]系列），通過自研損失函數解決對比學習方式依賴batchsize問題。

效果：登頂C-MTEB，在分類、聚類、排序、檢索和文本相似度5個任務評分取得領先。

2.3 多路召回+rerank

方法：稀疏檢索+向量檢索 + rerank模型。其中稀疏檢索應該是指BM25、ES等傳統檢索的方法，rerank模型百川沒有提到，不確定是用大模型來做rerank還是直接訓練相關rerank模型來對檢索結果排序。

效果：召回率95%，對比其他開源向量模型召回率低于80%。

2.4 self-Critique

方法：讓大模型基于 Prompt、從相關性和可用性等角度對檢索回來的內容自省，進行二次查看，從中篩選出與 Prompt 最匹配、最優質的候選內容。

目的：提升檢索結果的知識密度和廣度，降低檢索結果中的知識噪聲。

3 Conclusion

百川192K上下文模型表現不錯，實現了100%的回答精度。

長上下文窗口模型+搜索增強技術使5000萬Tokens數據集達到95%的回答精度。

二、總結

多輪問答等場景的召回和傳統搜索引擎的召回分布還不太一樣。百川借助子問題檢索效果更高的特點，對原始復雜問題進行拆解、拓展來解決復雜問題檢索質量偏差的問題。

對于沒見過的語料直接用向量檢索的結果可能不太理想。百川在大量語料上利用無監督方法訓練embedding模型來優化效果。而行業大模型更傾向于私有的數據，要提升私有數據的訓練效果還得繼續在私有化數據上訓練效果會更佳。

Query拓展 + 多路召回 + Rerank + self-Critique可能是現階段比較好的一種RAG方式，但是其也會帶來更多成本。總體思路有點像ReAct[3]系列的進階版本，其在搜索側和答案修正側都做了更多的一些工作來優化實際效果。其缺點是需要多次調用大模型，會帶來額外的成本，真實線上是否采用這種策略還有待驗證。

審核編輯：劉清