中文對話式大語言模型Firefly-2b6開源，使用210萬訓練數據
在本文中，我們將對該模型進行分享和介紹。與firefly-1b4相比，firefly-2b6的代碼生....
AIGC時代的多模態知識工程思考與展望
隨著人工智能總體階段的發展，生成式人工智能技術（AIGC）也在不斷迭代。從20世紀50年代到90年代....
SceneXplain：讓ChatGPT開啟視覺視角
得益于多模態技術的不斷發展，圖像描述這個需要結合 CV 和 NLP 的老大難問題在近些年里邁出了一大....
ChatGPT的朋友們：大語言模型經典論文
本節目標是通過OpenAI系列論文閱讀細窺ChatGPT的主要原理，其先進的工作脈絡可以概括為下圖。....
In-context learning如何工作？斯坦福學者用貝葉斯方法解開其奧秘
In-context learning允許用戶為新用例快速構建模型，而無需為每個任務微調和存儲新參數....
通俗易懂chatGPT原理
收集NLP各種任務的數據集，加上任務描述和提示組裝成新的數據集，并使用這些數據微調預訓練的大型語言模....
基于預訓練語言模型設計了一套統一的模型架構
進一步，本文研究了在更依賴 KG 的知識庫問答任務中如何利用 PLM。已有研究通常割裂地建模檢索-推....
Firefly(流螢): 中文對話式大語言模型
Bloom是個多語言模型，由于需要兼容多語言，所以詞表有25w之多，在中文領域中，大部分詞表并不會被....
與ChatGPT性能最相匹配的開源模型
最近由UC Berkeley、CMU、Stanford, 和 UC San Diego的研究人員創建....
基于GLM-6B對話模型的實體屬性抽取項目實現解析
Zero-shot、One-shot以及Few-shot讓人傻傻分不清，讀了很多文章，也沒搞清楚他們....
語言模型性能評估必備下游數據集：ZeroCLUE/FewCLUE與Chinese_WPLC數據集
零樣本學習是AI識別方法之一。簡單來說就是識別從未見過的數據類別，即訓練的分類器不僅僅能夠識別出訓練....
GPT-4發布后，你的NLP研究發生了怎樣的變化？
舉Parsing的例子主要是想說，Parsing領域的今天就是很多NLP子領域的明天。NLP很多da....
如何使用Jina來構建一個使用Stable Diffusion生成圖像的Executor呢
為了讓你能夠更輕松地分配和管理微服務，我們將正式執行者從Flow中分離出來。同時，也便于你更好地利用....
語言模型GPT-4在北京高考題目上的測試結果
計算符號的表示。針對數學和物理中的公式，我們發現不管用文本類輸入（如，t_0)還是用latex輸入（....
ChatGPT開源項目匯總表格
CarperAI 是EleutherAI研究小組的一個新實驗室，其任務是“通過強化學習提高大型語言模....
如何利用大規模語言模型將自然語言問題轉化為SQL語句？
有的工作嘗試引出中間推理步驟，通過將復雜問題顯示分解為多個子問題，從而以分而治之的方式來解決。
自然語言融入NeRF，給點文字就生成3D圖的LERF來了
但自然語言不同，自然語言與 3D 場景交互非常直觀。我們可以用圖 1 中的廚房場景來解釋，通過詢問餐....
最全ChatGPT技術匯總
ChatGPT的強大能力是顯而易見的，但對于人工智能領域不太熟悉的人，對這種黑盒的技術仍然會擔憂或者....
利用Contrastive Loss（對比損失）思想設計自己的loss function
在非監督學習時，對于一個數據集內的所有樣本，因為我們沒有樣本真實標簽，所以在對比學習框架下，通常以每....
淺析Meta最新模型LLaMA語言模型細節與代碼
其中torch不用多講，fairscale是用來做GPU分布的，一般是當使用DDP仍然遇到超顯存的問....
微軟發布Visual ChatGPT：視覺模型加持ChatGPT實現絲滑聊天
系統原則的提示符，“Visual ChatGPT是一個可以處理廣泛語言和視覺任務的助手，xxxxxx....
NLP數據增強的最新綜述
作為一種有效的策略，數據增強 (data augmentation, DA) 緩解了深度學習技術可能....
通俗理解文本生成的常用解碼策略
“Autoregressive”語言模型的含義是：當生成文本時，它不是一下子同時生成一段文字（模型吐....
ELMER: 高效強大的非自回歸預訓練文本生成模型
每個單詞都依賴于輸入文本與之前生成的單詞。自回歸生成模型只建模了前向的單詞依賴關系，依次生成的結構也....
改進Hinton的Dropout：可以用來減輕欠擬合了
他們首先通過對梯度范數的有趣觀察來研究 dropout 的訓練動態，然后得出了一個關鍵的實證發現：在....
AIGC最新綜述：從GAN到ChatGPT的AI生成歷史
本調查全面回顧了生成模型的歷史、基本組件、AIGC 從單模態交互和多模態交互的最新進展。我們從單峰性....
預訓練數據大小對于預訓練模型的影響
BERT類模型的工作模式簡單，但取得的效果也是極佳的，其在各項任務上的良好表現主要得益于其在大量無監....
兩篇大廠CTR預估最新工作
目前業內關于embedding table的壓縮主要有NAS-based embedding dim....
GPT/GPT-2/GPT-3/InstructGPT進化之路
在預訓練階段，GPT 選擇 transformer 的 decoder 部分作為模型的主要模塊，tr....
從ChatGPT看知識管理及知識圖譜的發展
知識管理涉及到用于在組織中捕獲、存儲和共享知識的流程和技術。在聊天機器人設計的背景下，知識管理可以幫....
工商網監
