在存儲領域,容量大、速度快和價格低是用戶的期望目標,但就現有的存儲器而言,速度越快的存儲器,容量越小,價格越高,容量大的存儲器,雖然價格低,但是速度卻達不到要求。
尤其是隨著人工智能、機器學習、物聯網等應用場景的出現,越來越需要用更快的速度處理更多的數據。不過,現有的存儲系統乏力,存儲領域急需一場技術革命。
那么,存儲界該如何推動這場技術革命?這一革命進展如何?就此話題與大內存軟件先行者MemVerge聯合創始人兼CEO范承工進行了交流。
存儲級內存是革命的基礎
當傳統的存儲系統失效時,要么依靠現有的存儲技術構建新的存儲系統,要么先發展新的內存介質再建存儲系統,按照后一種邏輯,存儲級內存技術(SCM)應運而生。
顧名思義,存儲級內存就是將速度快性能好的類似DRAM內存和容量大價格低的類似SSD存儲器的優點結合起來,縮小存儲和內存之間的差距,改變數據的存儲與處理方式。與DRAM不同的是,SCM是非易失性內存,這就意味著在斷電時,前者無法保留數據與程序代碼,后者卻可以。
范承工表示,過去十幾年里不少硬件廠商都在研發SCM存儲級內存技術,目前已有大約5種,且這些技術的發展和應用不盡相同。
“在目前已有的SCM技術中, MRAM容量相對較小,價錢較高,但是它的速度很快,在取代CPU更快更小更貴的內存SRAM上有更大的空間,不過它本身無法取代DRAM;RRAM或ReRAM等電阻式內存主要是在嵌入式系統內得以應用,目前還沒有發展到能夠直接插入服務器里當主內存用的產品形式。英特爾和美光合作開發的3D Xpoint技術也是SCM技術中的一種,且是第一個能夠用作服務器主內存的商業化技術。”
這里所說的商業化,也就是一年之前英特爾基于3DXpoint介質推出的傲騰持久內存,其大容量和持久性,在取代傳統的DRAM上有一定空間。不過,也有人指出,盡管SCM技術有很多優勢,但是現有的操作系統中很多設計機制考慮內存特性,SCM并不能完全替代DRAM。范承工認為,單純從硬件的角度來看,這一說法是成立的,持久性內存的速度會比DRAM慢4-5倍,其重復寫的次數也遠遠少于DRAM,所以它并不能完全取代DRAM。
“依靠SCM取代DRAM,其實也是MemVerge大內存軟件的發力點。”范承工告訴雷鋒網。
釋放SCM潛能,大內存軟件誕生
軟硬件結合是計算機發展的大趨勢,對于存儲系統而言亦是如此。基于新型內存技術做大內存軟件,MemVerge是第一個“吃螃蟹的人”。
“我們認為未來十年存儲技術將迎來一場革命,這場革命不僅僅是在硬件上,也會在應用層、軟件設計乃至生態上發生系列轉變。所以在三年前我們創建了MemVerge這家面向企業級軟件的公司,只要是在特性和功能上能夠當做主存用的存儲硬件技術,我們就計劃支持,傲騰持久內存恰好滿足我們的要求。”范承工向雷鋒網介紹到。
經過三年的發展,MemVerge在今年的9月24日正式發布了世界上第一款大內存軟件,內存機器(Memory Machine Version1.0)。
MemVerge發布會上,范承工表示,Memory Machine主要做兩件事:
作為虛擬內存層,將DRAM和PMEM(持久性內存)統一虛擬化,為內存提供軟件定義的內存服務。
內存的ZeroIO Snapshot功能,減少硬件宕機后重啟的時間。
據介紹,Memory Machine不需要修改軟件和硬件,就能將DRAM和PMEM都應用起來,內存容量得以擴大。一般而言,傲騰持久內存能夠支持一個CPU線路的3T容量,DRAM能夠支持1.5T容量,而Memoey Machine能夠使兩者并存,這就意味著一個普通的2路服務器能夠擁有9T的內存容量,是過去的3倍。
另外,傲騰內存價格比DRAM要低,這意味著DRAM與其結合能夠降低內存的平均價格。“通過我們的軟件,可以選擇一個最合適的比例將軟件定義的內存提供給應用,這這種情況下,內存成本可以降低30%到50%。”范承工說。
價格降低的情況下,原本DRAM的性能是否會受到影響?MemVerge官方給出了不同比例搭配的DRAM和PMEM在KVM虛擬化Hypervisor架構上的MySQL數據庫性能測試數據對比。數據顯示,128G PMEM搭配16GB DRAM的QPS達到49753,超過原本只有128GB DRAM 2175 QPS。
Snapshpt快照技術是某個數據集在特定時刻的鏡像,是一種即時拷貝,大大縮短了備份大型數據集時的時間,因此這一技術是存儲上常用的數據服務技術。但MemVerge是第一個在內存上實現多次Snapshot,且擁有copy-on-write功能的公司。
據悉,即使有1T以上的數據,ZeroIO Snapshot也能在1秒之內抓住CPU Cache中的全部狀態。基于此,ZeroIO內存快照有四種數據服務:
時間旅行(Time Travel),應用能夠隨意回到過去的任意一個Snapshot,可以同時產生128個Snapshot。
自動保存(Auto Save),像在編輯Word時每隔一段時間應用都會自動保存。
簡單克隆(Thin Clone),同一個應用可以“克隆”成多個平行運行,且各個應用互相獨立。
應用遷移(APP Migration),應用能夠遷移到各個數據中心運行,無論是裸機還是虛擬機。
對于128個數量級的快照是否會占據大量內存,范承工表示, “128個數量級的快照會占據一定的容量,具體容量需要根據應用的活躍度決定。如果快照數量多,改變也多,就需要產生新的內存頁進行管理,需要用到多余的內存,但即使是這樣,也會比128倍小很多,這是因為未改變的內存頁在物理層面上是共享的。整體來說,內存資源是被節省了。”
面向應用場景,革命需要更多伙伴
有軟件加持的SCM技術,能在哪些具體的應用場景發力呢?
“讓我們下定決心集中力量做大內存系統的另一個重要原因,是我們已經找到三個對這一技術最感興趣的應用場景,一是云服務提供者CSP(Cloud Services Provider),二是電影工作室在進行創作時的應用,三是金融應用領域,可以使最新的股市交易信息在2至3微秒內傳遞給用戶,建立一個更加公平的股市交易平臺。” 范承工介紹到。
平安銀行是MemVerge的客戶之一,擁有6000多萬的信用卡用戶和9000多萬的零售客戶。平安銀行大數據平臺技術總監沈百軍表示,對于銀行而言如果用戶體量小,可以直接將所有用戶的數據全部加載到內存中,提供快速的服務。面對一億左右的用戶,就需要新的技術支持。“我們引進大內存技術,全面實現ZeroIO,希望能讓我們的服務全都是在內存里進行的,這樣可以達到一個非常理想的工作效率。”
Banca Intesa Sanpaolo 是意大利市值最高的銀行集團,它部署了英特爾持久內存和Memory Machine軟件。Banca Intesa Sanpaolo 云和混合數據中心主管 Nicola Carotti 表示:“MemVerge Memory Machine的 ZeroIO 快照功能顯著提高了新應用程序的性能,將恢復時間從數小時縮短到了數秒。”
不過,雖然大內存軟件已有一些切實可行且效果不錯的應用場景,但大內存軟件既是存儲革命在軟件層面的第一個進展,也是MemVerge的第一個版本。范承工也表示,這一版本軟件還有一些值得升級的地方,例如將手動調控比例升級為智能自動化、ZeroIO快照還可以有更多的數據服務,安全服務也是MemVerge未來會考慮的方向。
范承工認為,大內存軟件才剛剛開始,這是一件值得MemVerge持續十幾年時間投入來做的一件事,基于千億美元的內存市場,需要更多的軟件來更好地管理優化,才能充分發揮出內存的價值,那時候大內存軟件將是一個百億美元的市場。
“存儲革命無法靠我們一家創業公司獨立完成,還需要更多的合作伙伴共同建立一個良好的生態,才能完成這場革命。”范承工說。
編輯:hfy
-
存儲器
+關注
關注
38文章
7484瀏覽量
163773 -
物聯網
+關注
關注
2909文章
44578瀏覽量
372871 -
存儲系統
+關注
關注
2文章
409瀏覽量
40852 -
人工智能
+關注
關注
1791文章
47208瀏覽量
238290 -
機器學習
+關注
關注
66文章
8408瀏覽量
132575
發布評論請先 登錄
相關推薦
評論