本文立足人工智能時代用戶、應用和系統的需求，分析“外掛式模型”演進路徑下的操作系統發展困局，提出通過“模型-系統-芯片”的全棧協同設計來構建模型原生操作系統，并進一步探討了面臨的機遇與挑戰，以及業界與作者團隊的相關初步探索。

以ChatGPT為代表的生成式人工智能（Generative AI）正在深刻變革人類社會。大模型憑借其卓越的語言理解、內容生成與邏輯推理能力，已成為科技發展的新范式與重要推動力。全球主要經濟體和科技巨頭紛紛布局，美國和歐盟累計投資上千億美元推進技術研發，微軟、英偉達、蘋果、谷歌等公司在模型架構、系統、芯片等方面展開全方位競爭。

然而，操作系統作為計算機系統的核心樞紐，其與人工智能技術的融合仍面臨諸多挑戰。當前主流方案如微軟的Windows Copilot和蘋果的Apple Intelligence機制，采用將模型作為外掛服務的方式。這種方案雖然能快速落地，但模型的概率性特征、軟硬件棧的復雜性，以及模型-系統-芯片的割裂狀態等結構性問題，導致當前基于模型的智能應用存在可控性差、開發難度大、算力效能低等短板，領域生態面臨“重作詩、輕做事”、生態碎片化、智能水平受限等問題。

本文立足人工智能時代用戶、應用和系統的需求，分析“外掛式”AI演進路徑下的操作系統發展困局，提出通過“模型-系統-芯片”的全棧協同設計來構建模型原生操作系統。這一新型操作系統將重構交互范式、接口抽象、執行模式、安全機制等，打通智能應用間的數據壁壘，促進多模型有機協同，優化資源供給以提升運行效能，最終實現模型的概率性智能與操作系統的確定性規則的有機統一。本文將探討模型原生操作系統面臨的機遇與挑戰，并介紹業界與作者團隊的相關初步探索。

人工智能時代操作系統的需求與挑戰

算法、數據、算力被譽為人工智能發展的三大引擎。操作系統的泛在性是連接和驅動這三大引擎的關鍵紐帶，是人工智能邁向通用智能、賦能千行百業的重要基石。從操作系統的視角來看，包括大模型、小模型、傳統機器學習方法等在內的“模型”正在演變為一種底層基礎能力。人工智能時代的操作系統亟須實現對模型的原生支持，以滿足來自用戶、應用及系統自身的智能化需求，在執行效能、智力水平、交互范式、隱私保護與系統安全等方面實現變革。

執行效能

隨著生成式人工智能的發展，模型參數規模呈指數級增長，對算力的需求也急劇攀升。為提供更強的算力支撐，GPU、NPU等新型算力硬件組成的異構、混合精度算力系統已成為當前人工智能場景的基礎設施，主流芯片設計廠商紛紛推出異構算力芯片。異構算力也促使虛擬數字人等新興應用場景出現，該應用往往需要GPU/NPU/CPU等多種計算硬件協同工作以支持虛擬數字人的實時交互和智能表現。在這一趨勢下，操作系統需要管理的資源從傳統的離散垂域分治轉向異構融合架構，這帶來了雙重挑戰：（1）異構算力的融合使編程模型與框架日趨復雜，迫切需要操作系統向應用提供統一、易用的編程抽象，以降低開發門檻；（2）不同硬件具有獨特的性能特質和適用場景，如GPU、NPU適合大批量數據的高吞吐計算，CPU則更適合小規模數據的低延遲處理，這要求操作系統能夠智能規劃任務分配，實現異構硬件的協同調度，最終提升系統整體執行效能。

智力水平

大模型的迅猛發展正在重塑智能終端設備形態，有望賦能百億級參數的智能設備。全球領先的智能手機、個人電腦（PC）和汽車制造商正積極探索將大模型部署至移動設備和車載芯片上，以獲得更好的隱私保護和發揮本地化優勢。谷歌推出的AI Core可在智能手機上運行擁有20億參數的Gemini Nano模型，蘋果計劃在iOS 18中整合30億參數的本地大模型，華為也通過鴻蒙原生智能將AI能力下沉到終端。面對這一趨勢，操作系統必須突破創新，使規模更大、智能水平更高的模型能夠在終端設備上高效運行。然而，現有的模型壓縮方法如量化、裁剪等往往導致模型性能顯著下降。這一技術瓶頸要求操作系統深入理解模型特性，探索更有針對性的優化方案，而不能僅依靠簡單的壓縮、量化等手段。

交互范式

大模型正在引領人機交互范式的革命性轉變，將用戶從傳統的圖形界面演進為語音、手勢、眼神等自然時空交互。很多行業正在積極探索這一新型交互形態，例如，OpenAI的GPT-4o支持實時語音對話，可充當智能家教輔導作業；智譜AI的AutoGLM能夠理解并執行復雜甚至跨APP的指令，包括“在線購物”“酒店預訂”甚至“發送紅包”等。可以預見，隨著數字化與智能化的深入，大模型將成為人機交互的重要入口，甚至能夠根據用戶習慣和場景動態調整交互界面。然而，當前模型在理解用戶界面方面仍面臨諸多挑戰。例如，界面元素往往具有多樣的分辨率、比例和布局，并包含大量細粒度的文本、按鈕等交互對象，這些特點使現有模型難以準確理解界面語義，制約了自然語言交互的效果。

隱私保護與系統安全

隨著大模型應用的普及，其安全與隱私問題日益突出。近期歐洲數據保護委員會（EDPB）和意大利隱私監管機構對OpenAI服務進行了嚴格審查，意大利甚至一度叫停ChatGPT。大模型的隱私保護涉及多個層面：（1）在數據層面，模型在訓練和推理過程中可能泄露敏感信息，同時模型參數本身也是重要的數字資產；（2）在系統層面，復雜的軟硬件棧難免存在安全漏洞；（3）在行為層面，模型輸出的不確定性可能導致越權操作或偏離預期；（4）當前系統過度關注性能指標，缺乏系統化的行為審計與約束機制。這要求我們構建多維度的安全防護體系，在數據、系統、行為、審計等層面實現全方位的隱私保護。

當前“外掛式”AI演進路徑的發展困局

以微軟Windows Copilot為代表的AI發展路徑以“外掛”形式在操作系統中提供智能化服務。Windows 11操作系統內置了專門的Copilot窗口，支持用戶通過任務欄圖標、快捷鍵或專用按鍵等多種方式快速調用AI助手。Copilot不僅能夠進行文本對話，還能執行調整系統設置、輔助日常操作、給出寫作建議等多樣化任務。然而，這種將AI作為外掛式服務集成到現有操作系統的方案，雖然能夠快速落地并讓用戶體驗到智能服務，但從長遠來看，存在算力差、智力差、魅力差、安全差四個方面的根本性困局，阻礙人工智能技術與操作系統的深度融合，影響為用戶提供更高水平的智能服務。

算力差：無法充分利用異構硬件的計算能力

當前算力硬件呈現快速迭代和多元化發展趨勢。一方面，主流GPU硬件不斷升級迭代；另一方面，各類AI芯片在提供特定算力優化的同時，也在能耗、性價比等方面給予了更多選擇。智能手機、AI PC等端側場景更是普遍采用混合算力架構，追求提升絕對計算能力的同時降低整體功耗。但在端側部署大模型時，其參數規模當前停留在70億左右，大大限制了系統的智能水平。隨著智能化應用的普及，算力硬件資源不再被少數應用獨享，亟須操作系統對異構化算力進行統一、高效、協同的調度和管理，進而將硬件的絕對計算能力兌現成應用和系統的智力。外掛式智能服務面臨的困局在于，缺少操作系統的原生支持，無法有效利用和管理混合、異構化算力資源，甚至可能造成算力資源的競爭與沖突。

智力差：智能化技術難以與操作系統深度融合

以外掛方式集成智能技術，僅能提供單向、有限的智能化支持，難以與操作系統各模塊深度融合，導致智能技術難以滲透到操作系統的關鍵服務和功能，限制了系統的智能化水平，阻礙其從“作詩”走向“做事”。外掛式智能技術難以利用操作系統的底層數據和資源，大大限制了其智力水平。例如，Windows Copilot無法直接訪問系統深層數據，未能與系統深度融合，且已被降級為漸進式網絡應用程序（PWA）。此外，外掛式智能技術存在數據孤島、響應延遲高等問題，模型的概率性問題進一步突顯，導致資源分配、任務調度及內存管理等系統服務的智能化受到極大限制，難以實現深度系統級優化。

魅力差：未能突破傳統操作系統固化的交互模式

傳統操作系統固化的交互邏輯難以滿足用戶群體的不同偏好，以及在不同場景下的交互需求。一方面，現有交互邏輯仍然是由開發者靜態設計，所有用戶體驗一份相同的交互邏輯，無法提供“千人千面”的個性化用戶體驗。另一方面，不同應用的交互邏輯完全獨立，即便一個簡單的用戶任務也會涉及多個應用，導致用戶必須在應用之間反復切換。傳統操作系統固化的交互模式大大限制了智能技術融入人機交互過程。以蘋果公司Ferret-UI為例，其雖能利用多模態大模型操控用戶界面（UI）屏幕完成任務，但受限于固化交互模式，仍然被迫在多個應用間頻繁切換與操作，單次任務包含冗長的操作與決策鏈條，導致任務完成率低、完成時間長、推理費用高等問題。

安全差：易導致系統安全隱患和隱私泄露問題

當前智能技術本身存在不可解釋、不確定等安全隱患，而智能服務的執行模式、交互方式等仍處于快速迭代發展中，其安全可靠性遠低于操作系統。近年來，使用ChatGPT引發的機密泄露事件頻發，反映出大模型和智能服務面臨安全挑戰。以外掛形式集成智能服務，未將其納入到整個系統的安全保護機制中，可能引入安全漏洞并放大操作系統攻擊面，勢必影響系統的安全穩定。如果允許外掛式智能服務直接訪問系統和處理數據，容易被利用成為攻擊入口和跳板。而如果單純將其隔離在外，智能服務使用的用戶數據又會面臨隱私泄露風險。

上述困局本質上源于外掛式智能服務方案未能實現AI與操作系統的有機融合，最終限制了整體的智能化水平。要真正發揮AI的潛力，需要在操作系統架構層面進行更深層次的變革。

破局思考：模型原生操作系統

模型作為一種底層基礎能力，在人工智能時代的操作系統演進中必然扮演著重要角色，但操作系統以何種路徑與模型融合是一個重要且開放的問題。圖1對比了不同的發展路徑。圖1（a）為漸進路線，即采用前文所提的將大模型作為應用外掛到現有操作系統的方法，優點是對現有操作系統改動少，可快速落地；缺點在于割裂模型與操作系統，制約了模型的能力。圖1（b）為激進路線，即用大模型一次性取代操作系統成為新的操作系統，優點在于可充分發揮大模型的智能能力；缺點在于完全顛覆現有軟件格局與生態，過于依賴模型本身的能力，缺乏與物理世界的交互能力，也缺乏對輸出的確定性保證。

圖1 智能時代操作系統與模型融合的不同發展路徑的系統架構對比

與前兩種技術路線不同，我們提出采用融合路線探索模型原生操作系統，如圖1（c）所示。融合路線基于模型與操作系統雙向奔赴的思路，即系統原生為模型設計，模型原生為系統調整，通過在服務模型操控、供給模型資源、融合模型能力方面進行探索，實現模型與操作系統的多層次深度融合。通過“模型-系統-芯片”全棧協同設計，重構接口抽象、執行模式、運行效能和安全機制等核心要素，實現概率性智能與確定性規則的有機統一，提升手機、PC、通用機器人、智能制造等領域的系統智能化水平，為用戶提供更加流暢、智能、個性化的服務。在此，我們將從六個維度闡述對模型原生操作系統的思考。

思考一：智能交互范式（面向交互范式革新）

大模型正在重塑操作系統與用戶的交互方式。傳統操作系統采用直接面向用戶的交互設計，用戶通過命令行、圖形界面、語音等接口操控硬件。在模型原生時代，用戶將更多地通過與智能體交互實現設備控制。然而，當前操作系統的交互框架與智能體存在多重不匹配。在接口層面，現有框架主要依賴圖形界面表達功能語義，而大模型在UI理解的準確性和確定性方面仍有明顯短板；在邏輯層面，傳統框架要求開發者靜態設計每個應用的交互邏輯，難以支持大模型為用戶提供動態個性化的交互體驗；在能力層面，應用間數據與功能的割裂狀態，阻礙了操作系統利用大模型實現跨應用的智能服務。

為應對這些挑戰，模型原生操作系統需要在多個層面進行協同創新。在交互接口層面，設計面向模型的新型操作接口，使模型能夠準確高效地調用系統功能；在交互邏輯層面，提供支持多模態的生成式交互邏輯開發框架，使開發者能夠利用大模型動態構建時空自然交互；在交互能力層面，構建“系統-模型-應用”的數據互通機制，打通應用間壁壘，支持基于上下文的智能交互。

思考二：創新系統抽象接口（面向提高執行效能）

隨著模型與操作系統的融合，傳統操作系統的抽象面臨挑戰。現有接口針對命令式服務設計，難以滿足智能體的需求：（1）無法充分表達應用語義或實現端到端智能優化；（2）缺乏原生智能化能力支持，增加了開發負擔，限制了智能體間的協作。同時，現有接口難以暴露底層系統服務和異構硬件能力，導致性能損失。

為應對這些挑戰，操作系統須引入智能化抽象，支持從單一命令到端到端需求的動態、靈活表達。在系統層面，支持多種層次的系統服務接口，高層接口滿足傳統應用和程序使用，底層接口用于高性能智能應用優化，充分平衡智能的應用和系統的實時性。同時，應結合歷史行為和模型智能，利用生成式接口的新特性實現自我優化與智能演進。

思考三：系統內生智能（面向提高智力水平）

當前智能體的能力邊界局限于單個應用范圍，各應用通過外掛模型實現智能化。例如，用戶期望智能體能自動完成日程安排，這需要跨越日歷、會議、郵件等多個應用實現協同。然而，目前面向特定領域的專用模型在適應性和魯棒性方面存在明顯不足。典型案例是當前的手機智能助手，雖然能夠執行簡單的購物任務，但一旦遇到未經訓練的廣告彈窗等干擾就極易中斷操作。

為此，模型原生操作系統應具備內生智能，從而有機整合來自不同應用智能體的能力，實現跨應用的無縫配合與復雜協同。這就需要構建面向操作系統的通用基礎模型，提供系統級智能體服務，并實現模型能力與系統功能的深度融合，支持跨應用的無縫協作；同時，建立高效的持續學習機制，探索新的操作系統內生智能的訓練方法，并實現高效、低成本的持續訓練和微調，以更好地滿足用戶多樣化的智能需求。

思考四：智能知識存儲（面向提高智力水平）

模型智能水平與知識型數據緊密相關，現有存儲系統主要面向數據而非知識，難以滿足大模型對知識生成、管理和利用的需求。在縱向維度，現有系統在設計上強調對原始數據的存取，缺乏對數據語義層次和知識表示的高效支持；在橫向維度，模型應用模糊化的輸入使多模態、多類型的存儲系統關聯更加緊密，而異構表達形式給數據跨應用橫向流動帶來挑戰。

為應對這些挑戰，在縱向層面，系統須面向知識存儲最大程度地利用軟硬協同的通信機制，提供與硬件演進協同發展的編程抽象；在橫向層面，系統應通過更高整合度的數據結構與通信機制，實現不同存儲系統數據互通與協作，為模型提供跨應用的數據融合能力，使多模態等任務中的數據協同更加高效，從而提升模型在復雜場景下的智能水平。

思考五：高效算力供給（面向提高執行效能）

模型對算力有著極高的要求。然而，模型原生操作系統在為模型提供算力時，不能僅考慮模型本身的需求，還要綜合考慮算力、內存、功耗、智能水平等多個相互制衡的關鍵指標。當前異構算力硬件體系為智能應用提供了關鍵性的算力支撐，但當前操作系統仍然以特殊外設的方式管理算力硬件，智能應用主要依賴專門化適配與設計來利用特定的算力硬件，導致系統嚴重碎片化，也大大限制了智能應用的發展和普及。

為應對這些挑戰，需要在多個層面實施優化策略。在模型層面，研究如何在保持模型性能的同時減少參數量；探索動態調整模型結構的方法，并針對智能體等復雜場景提出針對性的模型微調和輕量化設計。在系統層面，探索端側資源受限場景下的高效推理方案，包括面向操作系統目標任務的模型稀疏化、投機推理等；同時設計新的計算卸載方案，在保證用戶數據隱私以及對應用盡可能透明的前提下，充分利用來自富算力設備的計算資源。在硬件層面，探索異構計算架構，針對不同類型任務提供專用處理單元并實現協同調度和統一管理，提高整體效率。

思考六：系統安全可靠（面向隱私保護與系統安全）

隨著大模型系統應用越來越廣泛，其在隱私安全與可靠性方面的挑戰也越來越突出。在數據隱私方面，一方面大模型在訪問和生成數據時，可能會泄露隱私數據和敏感信息；另一方面，大模型自身的參數也是需要保護的重要數字資產。在可靠性層面，大模型的輸出存在不確定性，可能導致模型執行未經授權的操作或出現偏離預期的行為；目前的系統往往注重性能和精度等指標的提升，缺乏有效的行為審計機制和約束技術。

為應對這些挑戰，在數據安全方面，應對大模型的參數和數據進行“存儲-傳輸-計算”的全生命周期加密保護，嚴格控制數據流轉時的訪問權限，并構建輕量化、定制化的可信AI軟件棧，減少攻擊面以提高系統的整體安全性；在可靠性方面，提出面向智能應用安全的內生安全審計機制，通過彈性規則對模型的行為進行動態約束，在保證模型智能水平的同時有效提升確定性。

當前探索與實踐

模型原生操作系統作為一種新興的技術范式，正在成為人工智能大模型從“作詩”走向“做事”的關鍵。雖然目前尚未出現完全實現這一設計理念的成熟產品，但國內外學術界和工業界已經開展了這方面的初步探索。

OpenAI聯合創始人安德烈·卡帕西(Andrej Karpathy)在2023年11月提出了LLM OS理念，激進地用大語言模型替代操作系統(LLM as OS)。美國羅格斯大學提出的AIOS是LLM OS理念的一次初步實踐。然而，這類探索主要存在兩個局限：一是提出了全新的交互范式和軟件開發模式，難以有效兼容現有軟件生態；二是將模型作為黑盒使用，并未針對模型的推理效能、智力水平等進行針對性地優化。作為一種折衷方案，SWE-agent提出了智能體-計算機接口(Agent-Computer Interface, ACI)，將大模型智能體在軟件工程任務中能夠解決的問題從3.8%提升至18%，驗證了操作系統與大模型協同的重要性。

除了系統架構和編程接口層面的創新，工業界正在積極探索操作系統智能體技術。美國Anthropic公司的Computer Use和國內智譜公司的AutoGLM等系統通過將云端大模型與圖形界面（GUI）深度融合，實現了智能化的界面操作自動化，在辦公應用、社交媒體、在線購物等場景展現出接近人類水平的操作能力。然而，當前基于外掛式多模態大模型的方案在處理動態UI和復雜操作時仍面臨挑戰。同時，依賴云端大模型帶來的網絡延遲和隱私安全問題也亟待解決。

為了支持大模型在端側設備中的推理，當前業界提出了多種端側大模型推理框架，如ExecuTorch、llama.cpp和MLC LLM等，然而這些系統對異構算力的利用有限，端側設備通常只能運行不超過100億參數的小型模型，制約了模型原生操作系統的性能水平。為解決這一問題，上海交通大學推出PowerInfer系列工作，首次探索“模型-系統-芯片”協同設計理念，實現端側大模型的顯著加速。該方案在模型層面采用Turbo Sparse方法提升模型稀疏性，在系統和芯片層面優化操作系統推理設計，實現異構算力調度、神經元簇流水線等技術。實驗結果表明，PowerInfer-1在個人電腦上實現11.7倍加速，可運行1750億參數模型；PowerInfer-2讓智能手機流暢運行470億參數模型，性能提升27.8倍。

模型原生操作系統除了需要解決端側推理性能問題，還需要解決智能應用在硬件加速器層面的高效調度問題。當前商用GPU缺乏有效的搶占式調度機制，實時任務面臨兩難選擇：要么獨占GPU資源，增加成本；要么等待低優先級任務完成，影響性能。上海交通大學團隊最早在商用GPU上實現了百微秒內的任務搶占和細粒度的空分算力共享，與將GPU專用于實時任務相比，整體吞吐能力提升7.7倍，與多任務共享GPU相比，時延干擾減少99%。當前硬件加速器百家爭鳴，系統層面的支持成為競爭關鍵，團隊進一步提出了硬件加速器調度的通用抽象和多層硬件模型，能夠快速支持不同架構、品牌、代次硬件加速器的搶占式調度，以及開發硬件無關的通用調度策略。

結束語

模型原生操作系統是人工智能時代操作系統的重要發展方向，需要在模型與系統的深度融合中探索理論創新。這種融合不是簡單的功能疊加，而是要從架構到實現進行全方位創新，從而推動操作系統的智能化演進。雖然學術界和產業界在架構設計、性能優化、調度機制等方面取得了一系列初步探索，但要實現真正可用的產品級系統，仍須在交互范式革新、模型推理效能、系統融合程度、生態演進策略等方面持續深入研究。

（本文內容是基于2024中國計算機大會（CNCC2024）“大模型基礎軟件”論壇上的報告《模型原生操作系統的一些思考》進行的擴展）

掃碼觀看相關視頻

陳海波

CCF會士、系統軟件專委會副主任、開源發展委員會常務委員。上海交通大學特聘教授，ACM/IEEE Fellow。主要研究方向為操作系統、分布式系統和機器學習系統等。haibochen@sjtu.edu.cn

夏虞斌

CCF杰出會員、系統軟件專委會常務委員、開源發展委員會執行委員、教育工委主任助理。上海交通大學教授。主要研究方向為操作系統、體系結構等。xiayubin@sjtu.edu.cn

陳榕

CCF杰出會員、CCCF專欄編委。上海交通大學教授。主要研究方向為操作系統、分布式系統、智能計算系統等。rongchen@sjtu.edu.cn

其他作者：王肇國 糜澤羽 古金宇

CCF推薦

【精品文章】

泛在操作系統：研究與實踐 | CCCF精選

分布式系統與可信計算的探索之路——專訪“CCF 海外科技人物獎”獲得者徐潔 | CCCF精選

梅宏：擁抱泛在計算 | CCCF精選

審核編輯 黃宇