性能超越開源模型標(biāo)桿Llama2-70B，書生·浦語(yǔ)大模型InternLM-20B開源發(fā)布
今日，商湯科技與上海人工智能實(shí)驗(yàn)室聯(lián)合香港中文大學(xué)和復(fù)旦大學(xué)正式推出書生·浦語(yǔ)大模型（InternLM）200億參數(shù)版本InternLM-20B，并在阿里云魔搭社區(qū)（ModelScope）開源首發(fā)。
?
基于OpenCompass的InternLM-20B及相近量級(jí)開源模型測(cè)評(píng)結(jié)果
同時(shí)，書生·浦語(yǔ)面向大模型研發(fā)與應(yīng)用的全鏈條工具鏈全線升級(jí)，與InternLM-20B一同繼續(xù)全面開放，向企業(yè)和開發(fā)者提供免費(fèi)商用授權(quán)。
今年6月首次發(fā)布以來(lái)，書生·浦語(yǔ)歷多輪升級(jí)，在開源社區(qū)和產(chǎn)業(yè)界產(chǎn)生廣泛影響。InternLM-20B模型性能先進(jìn)且應(yīng)用便捷，以不足三分之一的參數(shù)量，達(dá)到當(dāng)前被視為開源模型標(biāo)桿的Llama2-70B的能力水平。
代碼庫(kù)
https://github.com/InternLM/InternLM
魔搭社區(qū)
https://modelscope.cn/organization/Shanghai_AI_Laboratory
?書生·浦語(yǔ)“增強(qiáng)版”
增的不只是量
相比國(guó)內(nèi)社區(qū)之前陸續(xù)開源的7B和13B規(guī)格模型，20B量級(jí)模型具備更強(qiáng)大的綜合能力，在復(fù)雜推理和反思能力上尤為突出，因此對(duì)于實(shí)際應(yīng)用能夠帶來(lái)更有力的性能支持。
另一方面，20B量級(jí)模型可以在單卡上進(jìn)行推理，經(jīng)過低比特量化后，可以運(yùn)行在單塊消費(fèi)級(jí)GPU上，給實(shí)際使用帶來(lái)很大的便利。
InternLM-20B是基于2.3T Tokens預(yù)訓(xùn)練語(yǔ)料從頭訓(xùn)練的中量級(jí)語(yǔ)言大模型。相較于InternLM-7B，訓(xùn)練語(yǔ)料經(jīng)過更高水平的多層次清洗，補(bǔ)充了高知識(shí)密度和用于強(qiáng)化理解及推理能力的訓(xùn)練數(shù)據(jù)。
在理解能力、推理能力、數(shù)學(xué)能力、編程能力等考驗(yàn)語(yǔ)言模型技術(shù)水平方面，InternLM-20B與此前已開源模型相比，性能顯著增強(qiáng)：優(yōu)異的綜合性能，通過更高水平的數(shù)據(jù)清洗和高知識(shí)密度的數(shù)據(jù)補(bǔ)充，以及更優(yōu)的模型架構(gòu)設(shè)計(jì)和訓(xùn)練，顯著提升了模型的理解、推理、數(shù)學(xué)與編程能力。
InternLM-20B全面領(lǐng)先量級(jí)相近的開源模型，使之以不足三分之一的參數(shù)量，評(píng)測(cè)成績(jī)達(dá)到了被視為開源模型的標(biāo)桿Llama2-70B水平。
-
擁有強(qiáng)大的工具調(diào)用能力，實(shí)現(xiàn)大模型與現(xiàn)實(shí)場(chǎng)景的有效連接，并具備代碼解釋和反思修正能力，為智能體（Agent）的構(gòu)建提供了良好的技術(shù)基礎(chǔ)。
-
支持更長(zhǎng)語(yǔ)境，支持長(zhǎng)度達(dá)16K的語(yǔ)境窗口，更有效地支撐長(zhǎng)文理解、長(zhǎng)文生成和超長(zhǎng)對(duì)話，長(zhǎng)語(yǔ)境同時(shí)成為支撐在InternLM-20B之上打造智能體（Agent）的關(guān)鍵技術(shù)基礎(chǔ)。
-
具備更安全的價(jià)值對(duì)齊，書生·浦語(yǔ)團(tuán)隊(duì)對(duì)InternLM-20B進(jìn)行了基于SFT（監(jiān)督微調(diào)）和RLHF（基于人類反饋的強(qiáng)化學(xué)習(xí)方式）兩階段價(jià)值對(duì)齊以及專家紅隊(duì)的對(duì)抗訓(xùn)練，當(dāng)面對(duì)帶有偏見的提問時(shí)，它能夠給出正確引導(dǎo)。
基于OpenCompass的InternLM-20B及相近量級(jí)開源模型測(cè)評(píng)結(jié)果
全鏈條工具體系再鞏固
各環(huán)節(jié)全面升級(jí)
今年7月，商湯科技與上海AI實(shí)驗(yàn)室聯(lián)合發(fā)布書生·浦語(yǔ)的同時(shí)，在業(yè)內(nèi)率先開源了覆蓋數(shù)據(jù)、預(yù)訓(xùn)練、微調(diào)、部署和評(píng)測(cè)的全鏈條工具體系。
歷經(jīng)數(shù)月升級(jí)，書生·浦語(yǔ)全鏈條開源工具體系鞏固升級(jí)，并向全社會(huì)提供免費(fèi)商用。
全面升級(jí)的全鏈條工具體系
數(shù)據(jù)-OpenDataLab開源“書生·萬(wàn)卷”預(yù)訓(xùn)練語(yǔ)料
書生·萬(wàn)卷是開源的多模態(tài)語(yǔ)料庫(kù)，包含文本數(shù)據(jù)集、圖文數(shù)據(jù)集、視頻數(shù)據(jù)集三部分，數(shù)據(jù)總量超過2TB。
目前，書生·萬(wàn)卷1.0已被應(yīng)用于書生·多模態(tài)、書生·浦語(yǔ)的訓(xùn)練，為模型性能提升起到重要作用。
預(yù)訓(xùn)練-InternLM高效預(yù)訓(xùn)練框架
除了大模型外，InternLM倉(cāng)庫(kù)也開源了預(yù)訓(xùn)練框架InternLM-Train。深度整合了Transformer模型算子，使訓(xùn)練效率得到提升，并提出了獨(dú)特的Hybrid Zero技術(shù)，使訓(xùn)練過程中的通信效率顯著提升，實(shí)現(xiàn)了高效率千卡并行，訓(xùn)練性能達(dá)行業(yè)領(lǐng)先水平。
微調(diào)-InternLM全參數(shù)微調(diào)、XTuner輕量級(jí)微調(diào)
InternLM支持對(duì)模型進(jìn)行全參數(shù)微調(diào)，支持豐富的下游應(yīng)用。同時(shí)，低成本大模型微調(diào)工具箱XTuner也在近期開源，支持多種大模型及LoRA、QLoRA等微調(diào)算法。
通過XTuner，最低僅需 8GB 顯存即可對(duì)7B模型進(jìn)行低成本微調(diào)，在24G顯存的消費(fèi)級(jí)顯卡上就能完成20B模型的微調(diào)。
部署-LMDeploy支持十億到千億參數(shù)語(yǔ)言模型的高效推理
LMDeploy涵蓋了大模型的全套輕量化、推理部署和服務(wù)解決方案，支持了從十億到千億級(jí)參數(shù)的高效模型推理，在吞吐量等性能上超過FasterTransformer、vLLM和Deepspeed等社區(qū)主流開源項(xiàng)目。
評(píng)測(cè)-OpenCompass一站式、全方位大模型評(píng)測(cè)平臺(tái)
OpenCompass大模型評(píng)測(cè)平臺(tái)構(gòu)建了包含學(xué)科、語(yǔ)言、知識(shí)、理解、推理五大維度的評(píng)測(cè)體系，支持超過50個(gè)評(píng)測(cè)數(shù)據(jù)集和30萬(wàn)道評(píng)測(cè)題目，支持零樣本、小樣本及思維鏈評(píng)測(cè)，是目前最全面的開源評(píng)測(cè)平臺(tái)。
自7月發(fā)布以來(lái)，受到學(xué)術(shù)界和產(chǎn)業(yè)界廣泛關(guān)注，目前已為阿里巴巴、騰訊、清華大學(xué)等數(shù)十所企業(yè)及科研機(jī)構(gòu)廣泛應(yīng)用于大模型研發(fā)。
應(yīng)用-Lagent輕量靈活的智能體框架
書生·浦語(yǔ)團(tuán)隊(duì)同時(shí)開源了智能體框架，支持用戶快速將一個(gè)大語(yǔ)言模型轉(zhuǎn)變?yōu)槎喾N類型的智能體，并提供典型工具為大語(yǔ)言模型賦能。
Lagent集合了ReAct、AutoGPT 及ReWoo等多種類型的智能體能力，支持智能體調(diào)用大語(yǔ)言模型進(jìn)行規(guī)劃推理和工具調(diào)用，并可在執(zhí)行中及時(shí)進(jìn)行反思和自我修正。
基于書生·浦語(yǔ)大模型，目前已經(jīng)發(fā)展出更豐富的下游應(yīng)用，將于近期陸續(xù)向?qū)W術(shù)及產(chǎn)業(yè)界分享。
面向大模型掀起的新一輪創(chuàng)新浪潮，商湯科技堅(jiān)持原創(chuàng)技術(shù)研究，通過前瞻性打造新型人工智能基礎(chǔ)設(shè)施，建立大模型及研發(fā)體系，持續(xù)推動(dòng)AI創(chuàng)新和落地，引領(lǐng)人工智能進(jìn)入工業(yè)化發(fā)展階段，同時(shí)賦能整個(gè)AI社區(qū)生態(tài)的繁榮發(fā)展。全鏈條工具體系開源鏈接
“書生·萬(wàn)卷”預(yù)訓(xùn)練語(yǔ)料
https://github.com/opendatalab/WanJuan1.0
InternLM預(yù)訓(xùn)練框架
https://github.com/InternLM/InternLM
XTuner微調(diào)工具箱
https://github.com/InternLM/xtuner
LMDeploy推理工具鏈
https://github.com/InternLM/lmdeploy
OpenCompas大模型評(píng)測(cè)平臺(tái)
https://github.com/open-compass/opencompass
Lagent智能體框架
https://github.com/InternLM/lagent
相關(guān)閱讀，戳這里
《AI考生今日抵達(dá)，商湯與上海AI實(shí)驗(yàn)室等發(fā)布“書生·浦語(yǔ)”大模型》
《大語(yǔ)言模型“書生·浦語(yǔ)”多項(xiàng)專業(yè)評(píng)測(cè)拔頭籌》
原文標(biāo)題：性能超越開源模型標(biāo)桿Llama2-70B，書生·浦語(yǔ)大模型InternLM-20B開源發(fā)布
文章出處：【微信公眾號(hào)：商湯科技SenseTime】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
商湯科技
+關(guān)注
關(guān)注
8文章
518瀏覽量
36137
原文標(biāo)題：性能超越開源模型標(biāo)桿Llama2-70B，書生·浦語(yǔ)大模型InternLM-20B開源發(fā)布
文章出處：【微信號(hào)：SenseTime2017，微信公眾號(hào)：商湯科技SenseTime】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
在算力魔方上本地部署Phi-4模型
?作者：算力魔方創(chuàng)始人/英特爾邊緣計(jì)算創(chuàng)新大使 劉力 前面我們分享了《Meta重磅發(fā)布Llama 3.3 70B：開源AI模型的新里程碑》，
Meta重磅發(fā)布Llama 3.3 70B：開源AI模型的新里程碑
?在人工智能領(lǐng)域，Meta的最新動(dòng)作再次引起了全球的關(guān)注。今天，我們見證了Meta發(fā)布的 Llama 3.3 70B 模型，這是一個(gè)開源的人
Meta推出Llama 3.3 70B，AI大模型競(jìng)爭(zhēng)白熱化
的Llama 3.3 70B模型在性能上表現(xiàn)出色，與同行業(yè)的其他大模型相比毫不遜色。更重要的是，其在成本上展現(xiàn)出了更強(qiáng)的競(jìng)爭(zhēng)力，使得更多的企
Meta發(fā)布Llama 3.2量化版模型
近日，Meta在開源Llama 3.2的1B與3B模型后，再次為人工智能領(lǐng)域帶來(lái)了新進(jìn)展。10月24日，Meta正式推出了這兩個(gè)
Llama 3 與開源AI模型的關(guān)系
在人工智能（AI）的快速發(fā)展中，開源AI模型扮演著越來(lái)越重要的角色。它們不僅推動(dòng)了技術(shù)的創(chuàng)新，還促進(jìn)了全球開發(fā)者社區(qū)的合作。Llama 3，作為一個(gè)新興的AI項(xiàng)目，與開源AI
英偉達(dá)發(fā)布AI模型 Llama-3.1-Nemotron-51B AI模型
英偉達(dá)公司宣布推出 Llama-3.1-Nemotron-51B AI 模型，這個(gè)AI大模型是源自 Meta 公司的 Llama-3.1-70B?大
Meta發(fā)布全新開源大模型Llama 3.1
科技巨頭Meta近期震撼發(fā)布了其最新的開源人工智能（AI）模型——Llama 3.1，這一舉措標(biāo)志著Meta在AI領(lǐng)域的又一重大突破。Meta創(chuàng)始人馬克·扎克伯格親自站臺(tái)，盛贊
Meta即將發(fā)布超強(qiáng)開源AI模型Llama 3-405B
在人工智能領(lǐng)域的激烈競(jìng)爭(zhēng)中，Meta公司再次擲出重磅炸彈，宣布將于7月23日正式發(fā)布其最新力作——Llama 3-405B，一個(gè)擁有驚人4050億參數(shù)的開源大
Optimum Intel三步完成Llama3在算力魔方的本地量化和部署
Llama3 是Meta最新發(fā)布的開源大語(yǔ)言模型(LLM), 當(dāng)前已開源8B和
百度智能云國(guó)內(nèi)首家支持Llama3全系列訓(xùn)練推理！
4月18日，Meta 正式發(fā)布 Llama 3，包括8B 和 70B 參數(shù)的大模型，官方號(hào)稱有史以來(lái)最強(qiáng)大的
Meta推出最強(qiáng)開源模型Llama 3 要挑戰(zhàn)GPT
公司這次開源了Llama 3 8B與70B兩款不同規(guī)模的模型，開發(fā)者可以免費(fèi)使用，而Meta公司還將陸續(xù)推出一系列具備多模態(tài)、多語(yǔ)言對(duì)話、更
谷歌發(fā)布全球最強(qiáng)開源大模型Gemma
谷歌近日宣布，其全新開源大模型Gemma正式亮相。Gemma被譽(yù)為全球性能最強(qiáng)大、同時(shí)也是最輕量級(jí)的模型系列，分為2B（
Meta發(fā)布開源大模型Code Llama 70B
近日，Meta宣布推出了一款新的開源大模型Code Llama 70B，這是其“Code Llama家族中體量最大、
Meta推出最新版AI代碼生成模型Code Llama70B
Meta近日宣布了其最新版本的AI代碼生成模型Code Llama70B，并稱其為“目前最大、最優(yōu)秀的模型”。這一更新標(biāo)志著Meta在AI代碼生成領(lǐng)域的持續(xù)創(chuàng)新和進(jìn)步。
工商網(wǎng)監(jiān)
評(píng)論