CNCF 的 KubeEdge 項目作為業界首個云原生邊緣計算平臺,從資源、應用、數據、AI、服務等多個維度,實現了邊云、邊邊之間的管理與協作,覆蓋了智慧園區、車路協同、工業 IoT、邊緣媒體加速等多個場景。
1、云原生邊緣計算平臺 KubeEdge 架構實踐
邊緣計算和云計算是共生互補的。隨著物聯網、5G、AI、AR/VR 等技術的發展與應用,完全依賴云計算來進行數據傳輸和處理將會造成巨大的網絡延遲。邊緣計算可在邊緣節點處理數據,能夠有效減少數據的傳輸和處理,但通過云計算的遠程存儲和分析仍然至關重要。
作為云計算平臺的延伸,邊緣計算平臺不應該是一個孤立的系統,它應該和云計算平臺保持關聯,實現:邊云平臺統一的設備和應用管理視圖,事件、消息、數據的跨邊云高效同步,微服務在全局的自動發現和流量治理等。
同時,邊緣計算平臺要與中心的云計算平臺保持解耦,提供本地自治的能力,以應對弱網甚至是斷網的場景。另外,計算設備類型的異構、離散分布以及資源受限等也對邊緣計算平臺的架構設計提出了巨大挑戰。
KubeEdge 源于華為云 2017 年的啟動的創新項目。項目初期我們嘗試開發一個能將邊緣和云端協同起來的云原生應用管理框架。2018 年我們把這套框架開源出來,并逐步形成了 KubeEdge 社區。經過 4 年的實踐,我們認為邊緣計算平臺架構的設計,需要滿足六大核心原則:開放生態、極致輕量、可靠連接、離線自治、云邊協同和邊緣智能。
開放生態:北向統一應用開發接口,南向支持異構邊緣形態??
“北向統一應用開發接口,南向支持異構邊緣形態”是 KubeEdge 的核心原則,圍繞這個原則,我們在“IoT 設備 – 邊緣計算節點 – 邊緣應用”3 個層面,實現了邊緣計算全流程生態開放。
統一應用生態:基于 Kubernetes 的原生能力,提供跨云邊統一的應用治理和運維體驗,幫助云端應用快速便捷地遷移到邊緣。
統一節點管控:KubeEdge 對邊緣計算節點進行了統一的抽象和建模,通過擴充 Kubernetes 原生的 Node 模型,實現邊緣節點和云端節點的混合管理。
統一 IoT 設備接入:在 IoT 設備層抽象出了統一的 IoT 設備接入框架,包括云原生 IoT 設備模型和 API 邊緣協議驅動框架,方便用戶和廠商基于自由的 IoT 設備進行系統集成。
極致輕量:輕量、靈活的邊緣軟件,全面覆蓋不同邊緣場景? ??
與云計算集中式資源管理不同,邊緣計算中資源往往呈現出全局地域離散、局部小規模集中的特征。同時,每個邊緣節點的資源十分有限,例如一些物聯網網關,內存往往只有 512M 甚至 256M。因此,邊緣管控軟件需要滿足輕量和靈活擴展的雙重要求,滿足不同的硬件和場景。
為了滿足管控軟件輕量化要求,我們對原生的 Kubelet 進行了深度裁剪和重構,將 Kubelet 的核心功能剝離出來,形成了輕量和邊緣管理軟件 EdgeCore。同時,我們自研了蜂巢(Bee Hive)開發框架,實現擴展插件的動態插拔、自動發現和高效通信,以滿足定制化能力的擴展。
可靠連接:邊云消息統一管理滿足弱網場景數據可靠傳輸? ?
與數據中心網絡的統一性和高可用性不同,邊緣節點和中心云在網絡上往往是隔離的,邊緣節點通過網關、代理或專線實現與中心云的互通,這些網絡往往存在帶寬低、丟包嚴重以及不穩定等問題。這導致面向穩定網絡設計的 Kubernetes 在邊緣網絡中很難穩定運行。如何屏蔽邊緣網絡差異,是邊緣云原生平臺需要解決的一個重要問題。
KubeEdge 通過 CloudHub 和 EdgeHub 來實現對邊緣網絡的屏蔽,其核心功能包括如下三個方面:
通過雙向多路復用消息通道,支持邊緣節點跨私有網絡和云端進行通信;
基于 WebSocket 和消息封裝,統一管理所有連接,大幅減少通信壓力,在高時延高抖動下仍可正常工作;
通過云邊消息校驗系統,在網絡不穩定時防止數據丟失。
離線自治:邊緣輕量化分布式決策器,離線場景故障自愈??
邊緣網絡的不穩定性導致邊緣節點經常出現和管理系統的斷連,該場景下如何保證邊緣應用持續穩定的運行,也是邊緣云原生平臺需要解決的重要問題。
KubeEdge 通過在邊緣上引入一個輕量的元數據管理模塊(MetaManager)對邊緣應用的元數據進行存儲。當邊緣節點離線時,EdgeD 可以基于 MetaManager 存儲的元數據對應用進行管理和恢復。每個節點上的 MetaManager 只存儲了部署在本地的應用的元數據信息,這樣即保證了較小的資源開銷,同時也保證了集群中其他節點數據的安全性。
云邊協同:網絡割裂環境下實現服務發現與流量代理??
邊緣節點資源有限,很難完成復雜的業務流程,因此在實際業務場景中,邊緣應用往往需要和云端應用互相配合,實現端到端的解決方案。
KubeEdge 提供了多種應用間跨邊云數據交換的模式,包括提供消息通信能力的 EventBus 和 ServiceBus ,提供微服務間互相發現和流量轉發的 EdgeMesh。
EdgeMesh 是一個輕量化服務發現與流量代理組件,其目標是在邊緣場景下屏蔽網絡結構和鏈接方式的差異,提供統一的流量治理能力。其核心特性包括:
極致輕量:從 Pod 級的主機級的 Agent,資源占用較 Isito 標準數據面 Envoy 降低 90%+;
高可用性:基于 P2P 實現了不同節點跨網絡穿透,通過中繼轉發和直連通道協同工作,保證系統高效運行;
高可靠性:基于元數據本地存儲,保證了離線時可持續工作。
邊緣智能:分布式協同 AI 框架,打破模型訓練推理空間限制??
在數據生成的地方進行快速處理并實時響應是邊緣計算發展的原始動力之一,因此,如何將數據智能處理應用高效地運行在邊緣,是邊緣計算研究的一個重要問題。具體有如下 4 點核心挑戰:
邊緣場智能使用的設備往往資源有限,大型的 AI 模型難以運行
資源硬件各異,不同場景碎片化嚴重
邊緣數據地理分散,受限于隱私等問題,不同節點間的數據難以共享,導致數據孤島問題凸顯
由于邊緣場景差異化較大,邊緣數據在時間和空間統計分布不一致,導致同一個模型難以適用全量的場景
針對這些問題,我們在 KubeEdge 社區開源了邊緣協同 AI 框架項目 Sedna。
Sedna 基于 KubeEdge 提供的邊云協同能力,實現了 AI 應用的跨邊云協同,支持現有 AI 類應用無縫下沉到邊緣,快速實現跨邊云的增量學習、聯邦學習、協同推理、終身學習等能力,最終達到降低邊緣 AI 服務構建與部署成本、提升模型性能、保護數據隱私等效果。
2、IEF:基于 KubeEdge 的云原生邊緣計算商用平臺
華為云的智能邊緣平臺(Intelligent EdgeFabric)是基于 KubeEdge 的商業化產品,其目標是基于云原生技術構建一個全新的邊云協同操作系統,可運行在多種邊緣設備上,將豐富的 AI、IoT 及數據分析等智能應用以輕量化的方式從云端部署到邊緣,滿足用戶對智能應用邊云協同的業務訴求。
IEF 服務著力構筑兩個生態。在邊緣,構筑硬件生態,讓各種規格、各種形態的邊緣硬件可以快速和平臺集成,形成邊緣基礎設施底座。在云端,構建應用生態,和華為云自有的大數據處理、AI 處理服務集成,結合第三方應用,幫助更多企業客戶快速實現邊緣服務解決方案。
3、云原生邊緣計算商業實踐及落地案例
交通運輸行業作為“新基建”集中落地的載體,5G、人工智能、軌道交通等產業的技術與生態將在此“聚變”,進而“裂變”出海量的創新及應用。作為交通行業數字化轉型的典型場景,使用電子收費代替人工收費站,面臨著收費模式和收費技術的重構。
長遠來看,減少人工收費站,并建設大量的 ETC 門架系統,是未來交通管理行業走向信息化的必要一環。中國作為高速公路總里程第一的國家,傳統的收費模式是由全國 33 個省市自治區獨立管理轄區內的高速公路,進行人工收費。全國的計費統計復雜,費率難以統一管理,人工收費效率低下,高峰期容易造成交通擁堵,影響通行效率。
基于以上挑戰,中國交通部自 2019 年開始在全國范圍內推行電子收費系統,取消省界之間的人工收費站。該系統基于 Kubernetes 和 KubeEdge 技術構建,利用云原生邊緣計算平臺帶來的備異構計算、大規模設備接入、統一管理等優勢,實現了接近 10 萬個邊緣節點和 50 萬邊緣應用的統一管理:
異構計算:當前智能邊緣平臺支持 x86、ARM32、ARM64 架構設備接入,并且支持主流操作系統如 CentOS、Ubuntu 等,取消省界項目中不同省份,地域選擇的邊緣計算硬件都不同,智能邊緣平臺異構接入的能力避免了用戶大量的適配工作,使能客戶快速接入并部署業務。
大規模接入:當前取消省界項目中存在近 7 萬邊緣節點,最高峰時接入了 8 萬邊緣節點。交通項目的規模往往隨著業務場景豐富而擴大,智能邊緣平臺支持水平集群擴容,能夠支持用戶根據自身訴求接入更多節點。
統一管理:取消省界項目客觀規模龐大,接入節點與部署的應用數量極多,這對節點與應用的生命周期管理,帶來難度。智能邊緣平臺,將功能可視化,提供全流程的生命周期管理,降低各省、市以及路段的運維人員使用門檻與學習成本。
邊緣計算進入“太空”,空間計算進入云原生時代??
衛星在太空中承擔了科學探測和研究、天氣預報、土地資源調查、土地利用、區域規劃、通信、跟蹤、導航等多個領域的工作。從最早的單一功能,到現在的一星多用,對于衛星的智能化要求也越來越高,尤其是在復雜的太空場景中,提高衛星的智能化水平和應用服務能力,讓衛星更好、更快地向地面傳遞更有價值的信息,是衛星全產業鏈價值提升的關鍵所在。
在此背景下,北京郵電大學與華為云邊緣云創新 Lab 合作,將 KubeEdeg 和 Sedna 與衛星系統結合,實現了地面數據中心與衛星系統的無縫融合,為空間實驗提供按需使用的計算能力和分布式 AI 計算能力,有效降低空間計算實驗門檻。
云原生邊緣計算和衛星系統的結合,使衛星具有更好的服務化能力,具備更廣闊的使用范圍和商業前景,具體包括以下幾個方面:
第一點是對衛星上的計算資源進行統一的管理和調度,將傳統的預占式資源分配方式變為按需使用的智能資源調度,提升計算資源的使用效率;
第二點是提供兼容 Kubernetes 的云原生應用生命周期管理,可以按需部署、升級應用,并提供全方位、可視化的的應用運維能力,降低應用開發運維成本;
第三點是實現了衛星應用和云端應用協同聯動,支持云平臺已有 AI 能力快速延伸至衛星,并通過數據協同,支持中心云和衛星系統的聯動,提升衛星的計算能力;最后一點就是通過 KubeEdge 提供安全的數據通道,支持數據加密傳輸,保證數據的安全。
4、邊緣計算趨勢:構建去中心化的分布式云
隨著物聯網通訊技術與相關嵌入式設備的高速發展,邊緣計算正在崛起并為云技術帶來新的趨勢。可以看到,各大云廠商業務從主要依賴超大規模數據中心, 光纜高速互聯的傳統公有云、發展到企業私有云與公有云專線互聯的混合云,逐步過渡到公有云為中心、邊緣節點與中心專線或公網互聯的邊緣云。未來甚至可能出現去中心化,中心數據中心與邊緣數據中心多路徑互聯的全分布式云。邊緣計算將為未來的百億終端提供 AI 能力,形成萬物感知、萬物互聯、 萬物智能的智能世界。
嘉賓介紹
齊飛,華為云主任工程師,2012 年加入華為,長期從事云計算系統和關鍵技術研究,參與華為混合云、邊緣云等多個云計算產品的創新孵化工作。2017 年開始負責華為云邊緣計算系統的創新孵化,參與華為智能邊緣平臺服務、云原生邊緣計算開源項目 KubeEdge 的設計和開發工作。現擔任華為邊云協同 OS 技術創新團隊負責人。
參考鏈接: https://github.com/kubeedge https://kubeedge.slack.com https://www.huaweicloud.com/lab/edgecloud/home.html ? ?
編輯:黃飛
?
評論
查看更多