技術革新日新月異，大模型的興起更是顛覆了千行百業。自ChatGPT問世以來，大模型的應用前景充滿了無限的機遇與挑戰。12月16日，在2023開放原子開發者大會的“大模型應用開發之道”分論壇上，眾多人工智能領域的從業者和技術專家齊聚一堂，圍繞大模型應用開發的現狀和未來發展等相關話題，碰撞出了諸多思想的火花。論壇由開放原子開源基金會TOC主席譚中意擔任出品人，在CSDN內容生態總監董世曉的主持下，5位行業專家聚焦于開發者在大模型開發過程中所面臨的工程挑戰，共同探討大模型開發之路。通過分享成功的案例經驗，以及深入剖析大模型開發的多個方面，幫助開發者對大模型開發的全貌有更深入的理解，便于應對實際應用中的挑戰。周文猛在《魔搭社區及其應用生態》的主題演講上，以魔搭社區為例，闡述了模型社區發展需要關注的五個方面，一是模型社區的生態是核心，需要持續更新和優化大模型，并分享最佳實踐，讓更多人了解和使用最新的模型和技術。二是數據集在AI應用生態中非常重要，魔搭的數據集覆蓋了不同領域的不同場景，便于大家更好地使用LIM和其他大模型。三是通過開源版GPTs AgentFabric，用戶可以輕松在魔搭上創建和分享自己的應用和想法，促進交流和碰撞。四是云上算力支持，幫助用戶可以利用資源進行應用開發和相關體驗。五是為開發者提供ModelScope。六是在云上的環境優化中，云上Notebook開發的下載速度達到400兆以上，可以提高大模型的體驗。Byzer社區PMC、Kyligence技術合伙人 祝海林祝海林在《基于Ray和Byzer，快速構建以大模型為核心的生產級應用》的主題演講上，闡述了Ray是支持傳統語言分布式編程的分布式框架，基于 Ray 之上開源的一套幫助企業開發大模型應用開發套件，例如為大模型而生的檢索系統的Byzer-Retrieval、大模型全生命周期管理的Byzer-LLM、應用開發框架Byzer-Agent。其中，相較于缺點較多的傳統的基于大模型的開發模式，Byzer-Agent框架的開發模式呈現出諸多優勢，一是Agent可以充分激活大模型在各領域的潛力，從開發角度也可以更好地進行Prompt管理；二是提供了Agent之間的通訊和存儲，可以方便Agent之間的協作完成用戶需求，并且保留對話信息；三是相比其他Agent框架，Byzer-Agent支持以Agent或者Agent組為粒度實現分布式，并且每個Agent可以支持不同的模型。李成龍在《走進向量數據庫，讓LLMs停止幻覺》的主題演講上表示，針對大語言模型在缺乏領域特定信息、容易產生幻覺、無法獲取最新信息、不變的預訓練數據上的局限性，李成龍提供了四個方面的改進思路，一是建立知識庫以拓展認知邊界，通過Fine-tuning針對專業領域進行訓練；二是使用提示詞工程規定限制，確保模型提供的信息準確可靠；三是利用向量數據庫為大模型建立記憶，及時更新，確保與現實世界保持同步；四是通過RLHF人工糾正再次微調，從知識庫中剔除無效信息，提高模型的準確性和可靠性。同時，李成龍還分享了Zilliz企業級產品Zilliz Cloud的功能架構，核心亮點以及典型應用案例。黃偉聰在《構建企業級AIGC應用的典型模式和實踐》的主題演講上表示，企業級AIGC應用的結果可信和應用可運營是其成功的關鍵。為了達成這一目標，黃偉聰以一個實際項目為例，闡述了其中的3個步驟，一是采用大模型+PBC這種新的AIGC應用生成范式，通過編排來構建堅實的可運營基礎，降低大模型的不穩定性；二是提升大模型在NL2SQL上的基礎能力，達到基本可用的狀態；三是通過AIGC應用的交互增強，實現用戶可以干預并追蹤整個過程以及生成過程可完整回溯，從而進一步提高應用的可信度。一切都旨在確保AIGC應用不僅高效可靠，還能在實際應用中贏得用戶的信任。張科在《螞蟻AI工程實踐分享》的主題演講上表示，目前AI工程的現狀包括模型參數量大、智能算力需求大以及開源框架多樣化。這些特點為AI工程帶來了巨大的潛力和機遇，同時帶來了新的挑戰，例如模型訓練實驗成本、訓練算力效率、訓練穩定性、推理成本、AI工程技術選型和人力投入等問題。對此，螞蟻AI在工程實踐上做出了四個舉措，一是通過開源大規模智能分布式訓練系統DLRover，優化整個訓練流程，提升了系統的效率。二是采用了分布式推理技術，以應對大規模模型的推理需求。三是使用GLake對訓練推理過程中的顯存和傳輸進行了優化。四是推出了“優化器三部曲”系列，能夠實現AI訓練節約資源、提升泛化、加速收斂等目標。在圓桌環節，幾位業界翹楚就“大模型應用開發”這一議題，展開了深入而富有洞見的圓桌對話。主持人：首先，請各位分享一下從自己的經歷或實踐中出發，感受到大模型為開發者帶來了哪些“變”與“不變”？周文猛：我認為，用戶的根本需求和具體應用場景的問題是始終不變的。然而，變化的是大模型技術的發展速度正在不斷加快，應用開發和創建的節奏也在同步提升。這就要求我們必須具備更加敏捷的思維和行為方式，以適應這種變化。祝海林：隨著大模型的引入，軟件開發模式經歷了革命性的轉變，從傳統的編程范式演進到與智能體互動的編程，需要思維方式上的革新。盡管目前大模型的能力尚在成長之中，但我對其未來的發展前景持樂觀態度。在這一切變化之中，唯一不變的真理是軟件決定整個世界。李成龍：在我看來，數據的核心地位是永恒不變的。無論是傳統軟件開發還是大模型開發，數據都扮演著至關重要的角色。變化主要體現在兩個方面：一是開發方式的轉變，相較于傳統軟件開發，大模型開發的時間周期顯著縮短；二是數據管理的變革，向量數據庫等工具可能變得越來越重要，因為需要提取和利用文本、圖片等更多信息。黃偉聰：盡管技術不斷演進，但始終不變的是對客戶價值和實際應用場景的深刻理解，以及數據的重要性。變化的方面主要體現在軟件生成的方式上，新一代的軟件生成方式可能與傳統的編碼方法有顯著差異，這要求我們持續探索和創新。張科：我觀察到三個關鍵方面的變化。一是數據驅動思維，在大模型的應用背景下，開發者必須更加專注于如何為應用產品持續提供高質量的數據，以實現更高級別的智能化。二是智能思維，開發者需要采用更智能化的設計理念和方法，以創造出更加智能和高效的產品或系統。三是合規性，在大模型使用大量數據的情況下，開發者需要更加注重合規性。祝海林：我們需要擁抱新鮮事物，無論AI、大數據浪潮或移動互聯網浪潮如何發展，保持擁抱新鮮事物的態度對開發者很重要。周文猛：跟上時代變革，最核心的是需要保持較強的學習能力。其次，大模型可以提高工作效率，大家有更多精力關注工作之外的事情。黃偉聰：首先，以開放的心態擁抱新鮮事物，并整合到日常工作流程中。其次，還需要面向客戶實際需求場景，利用新技術幫助工作。李成龍：我堅信，大模型具備重塑業務流程的潛力，能夠在提升工作效率和精確度方面發揮關鍵作用。展望未來，我們應該探索如何將傳統工作與大模型相結合，利用大模型來增強業務成效。主持人：在各位所在的企業中，使用或重新設計基于大模型的應用是否是為主流情況？對于直接在大模型上開發AI原生應用，未來何時可能出現有代表性的突破？周文猛：魔搭社區采用了基于大模型的Agent技術，這一創新技術已經轉變了人機交互的方式，允許用戶通過自然語言與機器進行溝通，并執行相應的任務。我們已經嘗試將這一技術與商業應用及阿里云產品結合，并在Demo中展示了如何通過對話來管理、檢索和分享文件，極大地簡化了人機交互過程，并提供了卓越的用戶體驗。我認為這項技術的成熟度已經達到了80%，而剩余的20%問題，包括提高大模型的準確度和推理能力，有望在未來一年內得到解決。祝海林：開發一個AI應用是一個復雜且龐大的工程，目前我們仍有許多改進空間。我們正在積極研究Agent技術，這一領域未來有望得到更廣泛的應用，盡管目前還處于起步階段。我對于大模型技術的突破抱有高度期待，這將極大地減少對人工定義流程的依賴。我相信智能體代表了技術發展的未來趨勢，因此在技術路線的選擇上，我們應保持獨立思考，不應完全依賴OpenAI的理念。黃偉聰：盡管我們嘗試了包括GPT-4在內的多種模型，我們依然認為OpenAI的模型在技術上處于領先地位。模型能力的提升對于上層應用的發展潛力有著深遠的影響。在討論Agent的應用時，我們必須從實際落地的角度出發。如果模型的能力足夠強大，那么產品和工程所需的工作量可以相應減少；反之，我們就必須投入更多的工作來彌補這一差距。主持人：各位對于正進行或未來計劃從事大模型相關工作的開發者，有什么經驗分享？張科：我鼓勵大家敢于想象、創新，共同建立AI和AI Infra的開源生態。黃偉聰：我覺得可以從三方面出發，一是開發者應勇于嘗試最新技術，積極擁抱GPT等先進模型。二是不斷探索模型能力的邊界，以開放心態適應技術變革。三是提升自身技能，以適應不斷變化的開發環境。李成龍：我鼓勵大家走出技術舒適區，勇敢地探索和嘗試大模型等前沿技術。同時，我們應當擁抱創新精神，淘汰那些已經過時的技術，積極發掘和利用大模型所帶來的巨大潛力。最后，我希望開發者們能夠勇于實驗新技術，不斷拓寬我們的技術視野和認知邊界。祝海林：在大模型領域，競爭異常激烈，開發者必須尋找獨特的差異化路徑以脫穎而出。Meta和Google已經通過差異化策略取得了顯著的成功，開發者可以從中吸取寶貴的經驗。例如，開發者可以在開源社區中尋求合作伙伴，共同推動技術創新。在大模型領域，合作與差異化是開發者成功的關鍵。周文猛：我熱切希望更多的年輕開發者能夠加入魔搭社區，親身體驗最新技術和創意的魅力。中國的開源社區應當堅持合作共贏和差異化的發展理念，我誠摯呼吁開發者們保持開放的心態，與其他開發者攜手合作，共同為技術創新貢獻力量。如今，大模型時代已悄然來臨，其顛覆傳統開發范式的趨勢日益明顯。雖然應用前景廣闊，但尚未完全挖掘其潛力。要真正實現大模型應用開發落地，還需要大量的實踐和探索。展望未來，2024年將是大模型應用開發繼續嶄露頭角的一年。我們翹首以盼它在各個領域中不斷推陳出新，開拓進取，為人工智能領域注入新的活力和動力。在這個充滿變革的時代，我們將攜手見證大模型應用開發的輝煌成就，共同開創人工智能的新篇章。點擊“閱讀原文”訪問AtomGit
下載經嘉賓授權的演講材料
原文標題：大模型應用開發之道圓滿舉辦
文章出處：【微信公眾號：開放原子】歡迎添加關注！文章轉載請注明出處。
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。
舉報投訴
原文標題：大模型應用開發之道圓滿舉辦
文章出處：【微信號：開放原子，微信公眾號：開放原子】歡迎添加關注！文章轉載請注明出處。
相關推薦
大語言模型開發框架是指用于訓練、推理和部署大型語言模型的軟件工具和庫。下面，AI部落小編為您介紹大語言模型開發框架。
![的頭像]()
發表于 12-06 10:28
?115次閱讀
在人工智能領域，大語言模型（Large Language Models, LLMs）背后，離不開高效的開發語言和工具的支持。下面，AI部落小編為您介紹大語言模型開發所依賴的主要編程語言
![的頭像]()
發表于 12-04 11:44
?99次閱讀
云端語言模型的開發是一個復雜而系統的過程，涉及數據準備、模型選擇、訓練優化、部署應用等多個環節。下面，AI部落小編為您分享云端語言模型的開發
![的頭像]()
發表于 12-02 10:48
?115次閱讀
各位大佬，純血鴻蒙HarmonyOS NEX手機、平板，應用市場搜索“大學之道動卡”即可體驗，打開留言即可發表你的文學觀點,謝謝互動。
您也可以通過以下方式，打開“大學之道動卡”互動。
發表于 11-26 10:18
近日，2024芯華章驗證技術研討會——Hardware Verification Workshop圓滿舉辦。
![的頭像]()
發表于 11-14 13:57
?233次閱讀
大語言模型的開發是一個復雜且細致的過程，涵蓋了數據準備、模型架構設計、訓練、微調和部署等多個階段。以下是對大語言模型開發步驟的介紹，由AI部
![的頭像]()
發表于 11-04 10:14
?135次閱讀
Silicon Labs（芯科科技）舉辦的2024年Works With全系列實體活動已落下帷幕，其中站點包括全球總部所在地奧斯汀、硅谷核心圣何塞、印度海得拉巴、和上周熱鬧圓滿的中國上海。緊接而來
![的頭像]()
發表于 10-31 14:30
?215次閱讀
2024年7月25日，達實智能主辦的“共創可體驗的智慧空間”學習研討會在江蘇南京圓滿舉辦。活動現場，來自江蘇南京及周邊110多家單位的140多位企業負責人、智能物聯網行業專家共聚一堂，圍繞智能化與物聯網的創新之道交流共創。
![的頭像]()
發表于 07-27 09:49
?831次閱讀
大模型在不同行業領域的應用前景;7月19日， “依圖科技多模態大模型伙伴CTO精研班”在杭州圓滿舉辦，讓更多的伙伴們深度體驗了依圖多模態大模型
![的頭像]()
發表于 07-23 15:16
?419次閱讀
佰向新，贏勝勢。近日，Biwin消費級品牌渠道戰略合作伙伴峰會圓滿舉辦，佰維存儲董事長孫成思、國通集團董事長王剛、佰維存儲副總經理徐騫、國通集團總經理金昌煥以及眾多優秀的渠道合作伙伴出席峰會。
![的頭像]()
發表于 05-28 10:40
?767次閱讀
3月23日，由傳智教育與科大訊飛聯合組織的大模型實戰應用之“AI開發者 TALK·北京站”在海淀舉辦。本次活動圍繞“大模型應用”展開探討，旨在為廣大AI
![的頭像]()
發表于 03-26 16:12
?459次閱讀
城市建設創新發展大會暨深圳市智慧安防品牌推介會”在深圳大中華喜來登酒店圓滿舉辦。 【政企部門 行業專家 鼎力支持】 此次大會得到了深圳市公安局治安管理局、深圳市市場監督管理局、深圳市交通運輸局、深圳市政務服務數據管理局、深圳
![的頭像]()
發表于 02-01 15:17
?565次閱讀
大連理工大學開發區校區圖書館報告廳圓滿舉辦。本次技術論壇從“終端操作系統十大技術挑戰”出發，以“邊緣智能”為主題，聚焦于邊緣智能系統設計、高效模型推理與通信協議、數據分發加速和網絡安全
![的頭像]()
發表于 01-16 21:15
?826次閱讀
）于華中科技大學梧桐語問學中心明德報告廳圓滿舉辦。本次技術論壇從“終端操作系統十大技術挑戰”出發，將主題聚焦在“大模型時代的系統軟件”，從學術界和工業界交叉融合的維度，討論AI系統軟件基礎設施、邊緣智能系統、大
![的頭像]()
發表于 12-26 21:20
?790次閱讀
2023年12月23日下午，OpenHarmony城市技術論壇（以下簡稱“技術論壇”）——第6期（武漢站）于華中科技大學梧桐語問學中心明德報告廳圓滿舉辦。本次技術論壇從“終端操作系統十大技術挑戰
![的頭像]()
發表于 12-25 08:42
?783次閱讀
大模型應用開發之道圓滿舉辦
工商網監
評論