在前陣子的DTCC 2023上,華為團隊與萬里開源聯合發布了一個Mysql的共享存儲并發讀寫的解決方案,其核心技術就是Cantian引擎。Cantian是一個能讓普通的單機數據庫變成具有類似Oracle RAC能力數據庫的中間件,目前支持innodb,今后將支持更多的數據庫存儲引擎。目前已經在openEuler社區開源。
倉庫地址:
https://gitee.com/openeuler/cantian
上圖是Cantian的一個邏輯架構圖,基于企業級集中式存儲,Cantian引擎在MySQL的SQL引擎與innodb存儲引擎之間構建了一個中間層,這個中間層可以模擬innodb的行為,因此MySQL的SQL引擎可以十分方便地與之對接。因為innodb和事務控制是緊密相關的,因此Cantian里除了包含MySQL的存儲層外還包含了MySQL的事務管理層。
在MySQL中引入Cantian引擎的好處是,加入這個中間層后,MySQL就具備了多節點并發讀寫的能力,搖身一變就變成了MySQL RAC了。上面這張圖能夠讓大家更好地理解參天引擎。
在Cantian中,undo/temp/log雖然也存儲在共享存儲中,不過是實例獨占式訪問的,不在集群層面共享,平時只能在實例內讀寫。只有故障恢復時,集群中的其他實例才能讀取。控制文件、system/users等表空間是可以在集群中并發讀寫的。
那么Cantian是如何實現多實例并發讀寫的呢?在本文第一張圖中有一個Global Cache的示意,在多個實例之間通過緩沖區融合技術實現了多實例一致性訪問。
Cantian實現全局緩沖的算法與Oracle 9I RAC有些類似,根據算法,可以確定某個緩沖塊的Master實例,當某實例擁有current block的時候可以直接訪問,否則需要通過Master咨詢該block是否在某個實例的緩沖中。Master通知該塊的持有者將其發送給需要的數據庫實例。
大家看看上面這張Oracle 9i RAC Cache fusion的示意圖,是不是有點和上面的圖十分相似的感覺。不過Cantian在緩沖區融合算法的實現上和Oracle Cache Fusion有較大的差別,并且由于UNDO的訪問特性限制,當MVCC需要一個經過多個實例多次變更的PRE-IMAGE的時候,在Cantian引擎里的組裝過程有些復雜,需要一級級的向前傳遞,最終才能完成獲取。
這種模式的數據訪問如果發生在一個多實例環境下,Cantian引擎可能存在一定的性能問題。如果能夠實現在一個實例完成多次構建,則效率要高很多,只不過這可能會讓分布式鎖管理更為復雜。目前Cantian實現的Cache Fusion算法還只是第一代,隨著該項目的發展,我想這方面的算法會進一步優化。
目前Cantian已經實現了與MySQL的對接。MySQL SQL 層與 CTC 通過 MySQL 預定義的 hanlder/handlerton 接口進行交互,CTC插件接收到 MySQL SQL 引擎調用存儲引擎插件執行的請求,通過共享內存通信模塊以及對接層邏輯將請求轉到 Cantian 引擎內核,CTC 插件與 Cantian 引擎通信模塊設計為統一接口,動態可替換機制,支持單進程接口直接綁定、雙進程共享內存通信兩種部署模式。一個 Cantian 引擎進程可以對接一至多個 MySQL 實例,不同實例間通過不同的共享內存通道與 Cantian 引擎進行通信,CTC 插件會維護實例的啟停時集群資源的分配與釋放。MySQL 元數據仍通過 InnoDB 引擎存儲與維護,但 MySQL 對元數據的修改操作會通過 CTC 與 Cantian 引擎廣播到集群中存活的其他 MySQL 實例以保證集群的元數據一致性。廣播過程中遠端 MySQL 實例會使用對應權限的代理用戶執行修改操作,從而保證集群執行語句時的用戶權限的一致性。
在高可用方面,Cantian引擎加持下的MySQL數據庫無需主從架構的故障切換,應用可以在0數據丟失的情況下實現秒鐘級切換。這對于關鍵業務來說至關重要。
Cantian引擎中的另外一個重要組件是DBStor,DBStor 通過直接提供數據庫 Log 和 Page 的存儲接口,將數據庫業務的存儲邏輯卸載,實現計算和存儲的分離。DBStor 采用 c/s 架構,客戶端部署在計算側,提供給計算節點 Log和 Page 存儲接口;服務端部署在存儲節點,實現 Log 和 Page 的存儲能力;客戶端和服務端基于 TCP/RDMA 來進行通信。
DBStor私有接口適配其他友商的存儲需要一定的適配工作。項目組也會陸續開展一些國內外存儲系統的適配工作。這是一個生態構建的過程,需要通過社區生態來共同工作才能完成。在數據庫存儲引擎方面,Cantian目前已經適配了innodb,PostgreSQL存儲引擎也在開發中,我想依托開源社區的力量,會有越來越多的數據庫適配Cantian。
最后再分析一下Cantian的應用場景,我首先想到的是做數據庫一體機。Cantian可以讓一個單機集中式數據庫快速地變成一個高性能、多讀多寫或者強一致性讀寫分離的數據庫系統。如果在后端用高性能分布式存儲替代集中式存儲,還可以形成一個全軟的解決方案。只不過目前Cantian引擎要想獲得高性能,還必須依賴高速CMS網絡和高性能低延時的集中式存儲系統,因此全軟的方案還不是目前的選項,不過作為一個開源項目,隨著Cantian引擎的迭代發展,一切都是可能的。
-
存儲系統
+關注
關注
2文章
422瀏覽量
41180 -
數據庫
+關注
關注
7文章
3879瀏覽量
65515 -
引擎
+關注
關注
1文章
364瀏覽量
22812 -
MySQL
+關注
關注
1文章
840瀏覽量
27287
原文標題:【創新項目探索】淺析openEuler Cantian引擎
文章出處:【微信號:openEulercommunity,微信公眾號:openEuler】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
歐拉開源操作系統(openEuler, 簡稱“歐拉”)簡介
openEuler 社區 2022 年 6 月運作報告
openEuler 社區完成首批顧問專家聘用,共同為社區的發展?貢獻力量
使用 Canonical MAAS 部署 openEuler 測試
openEuler 資源利用率提升之道 03:rubik 混部引擎簡介
一次 Rancher 和 openEuler 的上云之旅
RISC-V SIG 推出基于openEuler 的下游發行版 Eulaceura
openEuler 加入 RISC-V Landscape,相關技術已完成生態適配
歐拉(openEuler)Summit 2021:基于openEuler CirroData自主可控誕生

“openEuler Call for X 計劃”正式啟動

華為宣布CANTIAN引擎開源并發布分布式存儲全閃新品

評論