色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

160億參數,新增多項能力,復旦MOSS開源了

3D視覺工坊 ? 來源:機器之心 ? 2023-04-27 15:51 ? 次閱讀

今年 2 月份,機器之心報道了復旦大學推出中國版 ChatGPT 的消息,引起了廣泛關注。當時,邱錫鵬教授就曾表示將于四月份開源 Moss。

昨天,開源版的 Moss 真的來了。

項目地址:https://github.com/OpenLMLab/MOSS

MOSS 是一個支持中英雙語和多種插件的開源對話語言模型,但參數數量比 ChatGPT 少得多。在 v0.0.2 之后,團隊持續對其進行調整,推出了 MOSS v0.0.3,也就是目前開源的版本。相比于早期版本,功能也實現了多項更新。

最初的測試中,MOSS 的基礎功能與 ChatGPT 類似,可以按照用戶輸入的指令完成各類自然語言處理任務,包括文本生成、文本摘要、翻譯、代碼生成、閑聊等等。

開放內測后,團隊繼續加大中文語料的預訓練:「截止目前,MOSS 003 的基座語言模型已經在 100B 中文 token 上進行了訓練,總訓練 token 數量達到 700B,其中還包含約 300B 代碼。」

在開放內測后,我們也收集了一些用戶數據,我們發現真實中文世界的用戶意圖和 OpenAI InstructGPT 論文中披露的 user prompt 分布有較大差異(這不僅與用戶來自的國家差異有關,也跟產品上線時間有關,早期產品采集的數據中存在大量對抗性和測試性輸入),于是我們以這部分真實數據作為 seed 重新生成了約 110 萬常規對話數據,涵蓋更細粒度的 helpfulness 數據和更廣泛的 harmlessness 數據。

內容來源:https://www.zhihu.com/question/596908242/answer/2994534005

目前,團隊已將 moss-moon-003-base、moss-moon-003-sft、moss-moon-003-sft-plugin 三個模型上傳到 HuggingFace。后續,還有三個模型將會開源。

0ea0e28e-e4ca-11ed-ab56-dac502259ad0.png

根據項目主頁介紹,moss-moon 系列模型具有 160 億參數,在 FP16 精度下可在單張 A100/A800 或兩張 3090 顯卡運行,在 INT4/8 精度下可在單張 3090 顯卡運行。

團隊同時表示,由于模型參數量較小和自回歸生成范式,MOSS 仍然可能生成包含事實性錯誤的誤導性回復或包含偏見 / 歧視的有害內容,請謹慎鑒別和使用 MOSS 生成的內容,請勿將 MOSS 生成的有害內容傳播至互聯網。

新增能力

在 MOSS v0.0.3 中,團隊加入了多項新能力。

團隊構造了約 30 萬插件增強的對話數據,包含搜索引擎、文生圖、計算器、方程求解等。關于插件版 MOSS 如何使用,后續團隊將在 GitHub 公布。

0eacf600-e4ca-11ed-ab56-dac502259ad0.png

MOSS v0.0.3 現已引入使用多種插件的能力。

下圖展示了調用搜索引擎的能力:

0eb1dee0-e4ca-11ed-ab56-dac502259ad0.png

下圖展示了調用方程求解器的能力:

0eba72d0-e4ca-11ed-ab56-dac502259ad0.png

下圖展示了從文本生成圖片的能力:

0ec1c2ce-e4ca-11ed-ab56-dac502259ad0.png

項目作者孫天祥補充說,MOSS 003 支持啟用插件的能力是通過 meta instruction 來控制,類似 gpt-3.5-turbo 里的 system prompt。「因為是模型控制的,所以并不能保證 100% 控制率,以及還存在一些多選插件時調用不準、插件互相打架的缺陷,我們正在盡快開發新的模型來緩解這些問題。」

下載安裝

下載本倉庫內容至本地 / 遠程服務器:

git clone https://github.com/OpenLMLab/MOSS.gitcd MOSS

創建 conda 環境:

conda create --name moss python=3.8 conda activate moss

安裝依賴:

pip install -r requirements.txt

其中 torch 和 transformers 版本不建議低于推薦版本。

根據協議,開源的 MOSS 可用于商業用途:

0ed45e98-e4ca-11ed-ab56-dac502259ad0.png

此外,開發者也可通過 API 調用 MOSS 服務,團隊將根據當前服務壓力考慮通過 API 接口形式提供服務,接口格式可參考:https://github.com/OpenLMLab/MOSS/blob/main/moss_api.pdf

目前,已有開發者根據開源內容進行而創,比如通過 VideoChat 進行視頻問答

VideoChat 是一款多功能視頻問答工具,結合了動作識別、視覺字幕和 StableLM 的功能。該工具可為視頻中的任何對象和動作生成密集的描述性字幕,提供一系列語言風格以滿足不同的用戶偏好。它支持用戶進行不同長度、情緒、語言真實性的對話。

0edbf838-e4ca-11ed-ab56-dac502259ad0.png

項目地址:https://github.com/OpenGVLab/Ask-Anything/tree/main/video_chat_with_MOSS

審核編輯 :李倩

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 開源
    +關注

    關注

    3

    文章

    3442

    瀏覽量

    42839
  • 語言模型
    +關注

    關注

    0

    文章

    547

    瀏覽量

    10373
  • ChatGPT
    +關注

    關注

    29

    文章

    1577

    瀏覽量

    8190

原文標題:160億參數,新增多項能力,復旦MOSS開源了

文章出處:【微信號:3D視覺工坊,微信公眾號:3D視覺工坊】歡迎添加關注!文章轉載請注明出處。

收藏 0人收藏

    評論

    相關推薦

    開放原子開源基金會新增捐贈人一覽

    2024年12月,新增以下單位成為開放原子開源基金會及旗下項目捐贈人。
    的頭像 發表于 01-15 10:38 ?264次閱讀

    騰訊混元大模型上線并開源文生視頻能力

    近日,騰訊宣布其混元大模型正式上線,并開源一項令人矚目的能力——文生視頻。該大模型參數量高達130,支持中英文雙語輸入,為用戶提供
    的頭像 發表于 12-04 14:06 ?277次閱讀

    中國移動與中國石油發布700參數昆侖大模型

    800P的穩定算力資源。該模型還構建了160參數的多模態大模型,并融入了近400萬的多模態語料,使其在數據處理和模式識別方面具備更強的能力。 在發布會上,中國移動與中國石油還展示
    的頭像 發表于 12-04 11:17 ?525次閱讀

    AMD發布10參數開源AI模型OLMo

    AMD公司近日宣布一項重大進展,推出了首個完全開放的10參數語言模型系列——AMD OLMo。這一舉措為開發者和研究人員提供強大的AI研究工具,有助于推動AI技術的進一步發展。
    的頭像 發表于 11-12 18:08 ?539次閱讀

    云知聲山海大模型多項能力全球領跑

    國內人工智能權威機構清華大學基礎模型研究中心發布SuperBench九月綜合榜單。本次評測選取海內外24個具有代表性的大模型,結果顯示,山海大模型對齊、智能體、安全等多項能力全球領跑。
    的頭像 發表于 10-12 14:30 ?503次閱讀
    云知聲山海大模型<b class='flag-5'>多項</b><b class='flag-5'>能力</b>全球領跑

    開放原子開源基金會五月新增捐贈人

    2024年5月,新增以下單位成為開放原子開源基金會及旗下項目捐贈人。
    的頭像 發表于 09-24 10:48 ?889次閱讀

    緯鋰能發布的開源電池,循環壽命超過7000次

    緯鋰能發布的“開源電池”具備3C超快充電速度,15分鐘可從20%快充至80%SOC,比能量大于160Wh/kg,循環壽命超過7000次。
    的頭像 發表于 05-19 11:25 ?2157次閱讀

    通義千問推出1100參數開源模型

    通義千問近日震撼發布1100參數開源模型Qwen1.5-110B,這一舉措標志著通義千問在AI領域邁出了重大步伐。該模型成為通義千問全系列首個千億級參數
    的頭像 發表于 05-06 10:49 ?664次閱讀

    微信WCDB最新開源版本發布,優化數據庫接口及核心邏輯,新增多項功能

    如今,微信已經發布此項重大技術升級的新版本 WCDB,以及其更為豐富的開發語言支持,如新增 C++以及對 Java 和 Kotlin 語言的 ORM 提供完整支援,覆蓋越發廣泛的終端平臺;更強大的 SQL 表達能力,通過對 Winq 的重新書寫和強化體現出來;
    的頭像 發表于 04-09 15:59 ?854次閱讀

    阿維塔12發布3.2.0版本更新,新增多項功能并優化細節

    特殊車道智能通行功能:城市和鄉村的智駕領航輔助(NCA)和車道巡航輔助(LCC)均新增此功能,支持通過潮汐車道、公交車道控制桿進入NCA模式,并實現自動駛出的操作。
    的頭像 發表于 03-28 14:27 ?747次閱讀

    聯發科天璣9300搭載通義千問大模型,阿里云提供解決方案

    通義千問大模型已開源多項版本,包括18、70、140及720
    的頭像 發表于 03-28 09:55 ?708次閱讀

    OBS Studio 30.1發布,新增多元功能,優化HDR色調映射濾鏡

    在圖像功能方面,HDR Tone Mapping 濾鏡新增用于 SDR 的 maxRGB 色調映射器,Image Slideshow 可異步加載文件,自動裁剪至邊界框添新選項。流媒體與錄制過程中的 GPU 重采樣設置亦得到簡化。
    的頭像 發表于 03-14 14:53 ?1452次閱讀

    全球行業首次!北醒通過多項DO-160G認證測試

    近日,北醒新一代航空器用激光雷達產品通過多項DO-160G航空機載設備環境標準測試。作為全球首個參與DO-160G認證的激光雷達公司,這一系列測試的通過標志著北醒在安全飛行領域上達到了國際領先水平
    的頭像 發表于 03-06 16:44 ?407次閱讀

    東威科技PCB業務今年1-2月新增訂單已過

    東威科技近期于機構調研時表示,公司比較看好2024年PCB業務,今年1—2月新增訂單已過
    的頭像 發表于 03-04 14:33 ?640次閱讀

    北醒新一代激光雷達產品通過多項DO-160G航空機載設備環境標準測試

    近日,北醒新一代航空器用激光雷達產品通過多項DO-160G航空機載設備環境標準測試。
    的頭像 發表于 02-28 14:57 ?616次閱讀

    電子發燒友

    中國電子工程師最喜歡的網站

    • 2931785位工程師會員交流學習
    • 獲取您個性化的科技前沿技術信息
    • 參加活動獲取豐厚的禮品
    主站蜘蛛池模板: 国产亚洲精品久久久999无毒 | 国产手机在线精品 | YELLOW视频在线观看免费版高清 | 鸭子玩富婆流白浆视频 | 精品久久日日躁夜夜躁AV | 九九99热久久精品在线6 | 麻豆人妻换人妻X99 麻豆区蜜芽区 | 窝窝影院午夜看片毛片 | 在镜头里被CAO翻了H | 日本一本道高清码v | 伊人久久电影院 | 久久亚洲AV成人无码国产漫画 | 女性私密五月天 | 日本双渗透 | 9国产露脸精品国产麻豆 | 国产AV果冻传奇麻豆 | 青青热久精品国产亚洲AV无码 | 好吊日视频在线 | 日日踫夜夜爽无码久久 | 国内精品伊人久久久影院 | 无遮挡h肉3d动漫在线观看 | 欧美一区二区视频97色伦 | 快播可乐网| 午夜十八岁禁 | 最近中文字幕高清中文 | 欧美无码专区 | 国产69精品久久久久无码麻豆 | 日韩免费视频一区 | 美女xx00| 亚洲免费观看视频 | 亚洲免费va在线观看 | 人人射人人插 | 内射无码AV-区二区在线观看 | 一级毛片免费播放 | 美女视频黄色的 | 久久棋牌评测 | 国产51麻豆二区精品AV视频 | 欧美人与禽zoz0性伦交app | 成人综合在线视频免费观看完整版 | 久久偷拍免费2017 | 日韩精品无码视频一区二区蜜桃 |