日本超算富岳助力構建大規模語言模型Fugaku-LLM
日本多企業聯合科研組于昨日宣布推出Fugaku-LLM大模型，此模型基于Arm架構的“富岳”超級計算機進行培訓，呈現出顯著特性。
Fugaku-LLM模型項目自2023年5月起啟動，初始參加方包括富士通、東京工業大學、日本東北大學及日本理化學研究所（簡稱理研）。至同年8月，又有三家合作伙伴——名古屋大學、CyberAgent（Cygames母公司）以及HPC-AI領域創新企業Kotoba Technologies加入。
在昨日公布的新聞稿中，研究團隊表示他們成功發掘了富岳超級計算機的潛能，使矩陣乘法運算速度提升六倍，通信速度提高三倍，從而證實大型純CPU超級計算機同樣適用于大模型訓練。
Fugaku-LLM模型參數規模達13B，成為日本國內最大的大型語言模型。該模型利用13824個富岳超級計算機節點，在3800億個Token上進行訓練，其中60%為日語數據，其余40%涵蓋英語、數學、代碼等內容。
研究團隊表示，Fugaku-LLM模型能夠在交流過程中自然運用日語敬語等特殊表達方式。
在測試結果方面，該模型在日語MT-Bench模型基準測試中的平均得分高達5.5，位列基于日本語料資源的開放模型之首；同時，在人文社科類別的測試中獲得9.18的高分。
目前，Fugaku-LLM模型已在GitHub和Hugging Face平臺公開發布，外部研究人員和工程師可以在遵循許可協議的前提下，將該模型應用于學術和商業領域。
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。
舉報投訴
-
cpu
+關注
關注
68文章
10872瀏覽量
211999 -
超級計算機
+關注
關注
2文章
462瀏覽量
41953 -
大模型
+關注
關注
2文章
2476瀏覽量
2793
發布評論請先 登錄
相關推薦
什么是LLM？LLM在自然語言處理中的應用
所未有的精度和效率處理和生成自然語言。 LLM的基本原理 LLM基于深度學習技術，尤其是變換器（Transformer）架構。變換器模型因其自注意力（Self-Attention）機制
LLM和傳統機器學習的區別
和訓練方法 LLM： 預訓練和微調： LLM通常采用預訓練（Pre-training）和微調（Fine-tuning）的方法。預訓練階段，模型在大規模的文本數據上學習
新品｜LLM Module，離線大語言模型模塊
LLM，全稱大語言模型(LargeLanguageModel)。是一種基于深度學習的人工智能模型。它通過大量文本數據進行訓練，從而能夠進行對話、回答問題、撰寫文本等其他任務
大模型LLM與ChatGPT的技術原理
在人工智能領域，大模型（Large Language Model, LLM）和ChatGPT等自然語言處理技術（Natural Language Processing, NLP）正逐步改變著人類
llm模型和chatGPT的區別
LLM（Large Language Model）是指大型語言模型，它們是一類使用深度學習技術構建的自然語言處理（NLP）
LLM模型的應用領域
在本文中，我們將深入探討LLM（Large Language Model，大型語言模型）的應用領域。LLM是一種基于深度學習的人工智能技術，它能夠理解和生成自然
預定下代超算第一？富士通144核Arm處理器公開
設計A64FX SoC，整個超算集群的峰值性能可以達到537.21PFlop/s。如此強大的性能，甚至于日本東京工業大學、日本東北大學等都宣布將借助
大語言模型(LLM)快速理解
自2022年，ChatGPT發布之后，大語言模型（LargeLanguageModel），簡稱LLM掀起了一波狂潮。作為學習理解LLM的開始，先來整體理解一下大
LLM之外的性價比之選，小語言模型
。然而在一些對實時性要求較高的應用中，比如AI客服、實時數據分析等，大語言模型并沒有太大的優勢。 ? 在動輒萬億參數的LLM下，硬件需求已經遭受了不小的挑戰。所以面對一些相對簡單的任務，規模
超算訓練大模型，不浪費一丁點計算資源
政府也投入到LLM的計算資源整合中來，從而不至于落后這輪新的全球技術軍備戰。同樣的計算資源競爭也發生在超算領域，而兩者的計算資源存在一定的重合，不少人開始借助超算來進行
日本團隊發布在富岳超算上訓練的Fugaku-LLM大模型
自2023年5月起，Fugaku-LLM模型的開發工作開始展開，最初參與團隊包括富士通、東京工業大學、日本東北大學以及日本理化學研究所（簡稱理研）。
【大語言模型：原理與工程實踐】揭開大語言模型的面紗
用于文本生成，根據提示或上下文生成連貫、富有創造性的文本，為故事創作等提供無限可能。大語言模型也面臨挑戰。一方面，其計算資源需求巨大，訓練和推理耗時；另一方面，模型高度依賴數據，需要大規模
發表于 05-04 23:55
在被超60億美元收購后，日本光刻膠巨頭JSR尋求擴大規模
在被超60億美元收購后，日本光刻膠巨頭JSR積極尋求擴大規模，以適應全球芯片制造行業的快速發展。
名單公布！【書籍評測活動NO.30】大規模語言模型：從理論到實踐
，在大模型實踐和理論研究的過程中，歷時8個月完成 《大規模語言模型：從理論到實踐》 一書的撰寫。希望這本書能夠幫助讀者快速入門大模型的研究和
發表于 03-11 15:16
工商網監
評論