在存儲領(lǐng)域,容量大、速度快和價格低是用戶的期望目標(biāo),但就現(xiàn)有的存儲器而言,速度越快的存儲器,容量越小,價格越高,容量大的存儲器,雖然價格低,但是速度卻達不到要求。
尤其是隨著人工智能、機器學(xué)習(xí)、物聯(lián)網(wǎng)等應(yīng)用場景的出現(xiàn),越來越需要用更快的速度處理更多的數(shù)據(jù)。不過,現(xiàn)有的存儲系統(tǒng)乏力,存儲領(lǐng)域急需一場技術(shù)革命。
那么,存儲界該如何推動這場技術(shù)革命?這一革命進展如何?雷鋒網(wǎng)就此話題與大內(nèi)存軟件先行者MemVerge聯(lián)合創(chuàng)始人兼CEO范承工進行了交流。
存儲級內(nèi)存是革命的基礎(chǔ)
當(dāng)傳統(tǒng)的存儲系統(tǒng)失效時,要么依靠現(xiàn)有的存儲技術(shù)構(gòu)建新的存儲系統(tǒng),要么先發(fā)展新的內(nèi)存介質(zhì)再建存儲系統(tǒng),按照后一種邏輯,存儲級內(nèi)存技術(shù)(SCM)應(yīng)運而生。
顧名思義,存儲級內(nèi)存就是將速度快性能好的類似DRAM內(nèi)存和容量大價格低的類似SSD存儲器的優(yōu)點結(jié)合起來,縮小存儲和內(nèi)存之間的差距,改變數(shù)據(jù)的存儲與處理方式。與DRAM不同的是,SCM是非易失性內(nèi)存,這就意味著在斷電時,前者無法保留數(shù)據(jù)與程序代碼,后者卻可以。
范承工表示,過去十幾年里不少硬件廠商都在研發(fā)SCM存儲級內(nèi)存技術(shù),目前已有大約5種,且這些技術(shù)的發(fā)展和應(yīng)用不盡相同。
“在目前已有的SCM技術(shù)中, MRAM容量相對較小,價錢較高,但是它的速度很快,在取代CPU更快更小更貴的內(nèi)存SRAM上有更大的空間,不過它本身無法取代DRAM;RRAM或ReRAM等電阻式內(nèi)存主要是在嵌入式系統(tǒng)內(nèi)得以應(yīng)用,目前還沒有發(fā)展到能夠直接插入服務(wù)器里當(dāng)主內(nèi)存用的產(chǎn)品形式。英特爾和美光合作開發(fā)的3D Xpoint技術(shù)也是SCM技術(shù)中的一種,且是第一個能夠用作服務(wù)器主內(nèi)存的商業(yè)化技術(shù)。”
這里所說的商業(yè)化,也就是一年之前英特爾基于3DXpoint介質(zhì)推出的傲騰持久內(nèi)存,其大容量和持久性,在取代傳統(tǒng)的DRAM上有一定空間。不過,也有人指出,盡管SCM技術(shù)有很多優(yōu)勢,但是現(xiàn)有的操作系統(tǒng)中很多設(shè)計機制考慮內(nèi)存特性,SCM并不能完全替代DRAM。范承工認(rèn)為,單純從硬件的角度來看,這一說法是成立的,持久性內(nèi)存的速度會比DRAM慢4-5倍,其重復(fù)寫的次數(shù)也遠(yuǎn)遠(yuǎn)少于DRAM,所以它并不能完全取代DRAM。
“依靠SCM取代DRAM,其實也是MemVerge大內(nèi)存軟件的發(fā)力點。”范承工告訴雷鋒網(wǎng)。
釋放SCM潛能,大內(nèi)存軟件誕生
軟硬件結(jié)合是計算機發(fā)展的大趨勢,對于存儲系統(tǒng)而言亦是如此。基于新型內(nèi)存技術(shù)做大內(nèi)存軟件,MemVerge是第一個“吃螃蟹的人”。
“我們認(rèn)為未來十年存儲技術(shù)將迎來一場革命,這場革命不僅僅是在硬件上,也會在應(yīng)用層、軟件設(shè)計乃至生態(tài)上發(fā)生系列轉(zhuǎn)變。所以在三年前我們創(chuàng)建了MemVerge這家面向企業(yè)級軟件的公司,只要是在特性和功能上能夠當(dāng)做主存用的存儲硬件技術(shù),我們就計劃支持,傲騰持久內(nèi)存恰好滿足我們的要求。”范承工向雷鋒網(wǎng)介紹到。
經(jīng)過三年的發(fā)展,MemVerge在今年的9月24日正式發(fā)布了世界上第一款大內(nèi)存軟件,內(nèi)存機器(Memory Machine Version1.0)。
MemVerge發(fā)布會上,范承工表示,Memory Machine主要做兩件事:
作為虛擬內(nèi)存層,將DRAM和PMEM(持久性內(nèi)存)統(tǒng)一虛擬化,為內(nèi)存提供軟件定義的內(nèi)存服務(wù)。
內(nèi)存的ZeroIO Snapshot功能,減少硬件宕機后重啟的時間。
據(jù)介紹,Memory Machine不需要修改軟件和硬件,就能將DRAM和PMEM都應(yīng)用起來,內(nèi)存容量得以擴大。一般而言,傲騰持久內(nèi)存能夠支持一個CPU線路的3T容量,DRAM能夠支持1.5T容量,而Memoey Machine能夠使兩者并存,這就意味著一個普通的2路服務(wù)器能夠擁有9T的內(nèi)存容量,是過去的3倍。
另外,傲騰內(nèi)存價格比DRAM要低,這意味著DRAM與其結(jié)合能夠降低內(nèi)存的平均價格。“通過我們的軟件,可以選擇一個最合適的比例將軟件定義的內(nèi)存提供給應(yīng)用,這這種情況下,內(nèi)存成本可以降低30%到50%。”范承工說。
價格降低的情況下,原本DRAM的性能是否會受到影響?MemVerge官方給出了不同比例搭配的DRAM和PMEM在KVM虛擬化Hypervisor架構(gòu)上的MySQL數(shù)據(jù)庫性能測試數(shù)據(jù)對比。數(shù)據(jù)顯示,128G PMEM搭配16GB DRAM的QPS達到49753,超過原本只有128GB DRAM 2175 QPS。
Snapshpt快照技術(shù)是某個數(shù)據(jù)集在特定時刻的鏡像,是一種即時拷貝,大大縮短了備份大型數(shù)據(jù)集時的時間,因此這一技術(shù)是存儲上常用的數(shù)據(jù)服務(wù)技術(shù)。但MemVerge是第一個在內(nèi)存上實現(xiàn)多次Snapshot,且擁有copy-on-write功能的公司。
據(jù)悉,即使有1T以上的數(shù)據(jù),ZeroIO Snapshot也能在1秒之內(nèi)抓住CPU Cache中的全部狀態(tài)。基于此,ZeroIO內(nèi)存快照有四種數(shù)據(jù)服務(wù):
時間旅行(Time Travel),應(yīng)用能夠隨意回到過去的任意一個Snapshot,可以同時產(chǎn)生128個Snapshot。
自動保存(Auto Save),像在編輯Word時每隔一段時間應(yīng)用都會自動保存。
簡單克隆(Thin Clone),同一個應(yīng)用可以“克隆”成多個平行運行,且各個應(yīng)用互相獨立。
應(yīng)用遷移(APP Migration),應(yīng)用能夠遷移到各個數(shù)據(jù)中心運行,無論是裸機還是虛擬機。
對于128個數(shù)量級的快照是否會占據(jù)大量內(nèi)存,范承工表示, “128個數(shù)量級的快照會占據(jù)一定的容量,具體容量需要根據(jù)應(yīng)用的活躍度決定。如果快照數(shù)量多,改變也多,就需要產(chǎn)生新的內(nèi)存頁進行管理,需要用到多余的內(nèi)存,但即使是這樣,也會比128倍小很多,這是因為未改變的內(nèi)存頁在物理層面上是共享的。整體來說,內(nèi)存資源是被節(jié)省了。”
面向應(yīng)用場景,革命需要更多伙伴
有軟件加持的SCM技術(shù),能在哪些具體的應(yīng)用場景發(fā)力呢?
“讓我們下定決心集中力量做大內(nèi)存系統(tǒng)的另一個重要原因,是我們已經(jīng)找到三個對這一技術(shù)最感興趣的應(yīng)用場景,一是云服務(wù)提供者CSP(Cloud Services Provider),二是電影工作室在進行創(chuàng)作時的應(yīng)用,三是金融應(yīng)用領(lǐng)域,可以使最新的股市交易信息在2至3微秒內(nèi)傳遞給用戶,建立一個更加公平的股市交易平臺。” 范承工介紹到。
平安銀行是MemVerge的客戶之一,擁有6000多萬的信用卡用戶和9000多萬的零售客戶。平安銀行大數(shù)據(jù)平臺技術(shù)總監(jiān)沈百軍表示,對于銀行而言如果用戶體量小,可以直接將所有用戶的數(shù)據(jù)全部加載到內(nèi)存中,提供快速的服務(wù)。面對一億左右的用戶,就需要新的技術(shù)支持。“我們引進大內(nèi)存技術(shù),全面實現(xiàn)ZeroIO,希望能讓我們的服務(wù)全都是在內(nèi)存里進行的,這樣可以達到一個非常理想的工作效率。”
Banca Intesa Sanpaolo 是意大利市值最高的銀行集團,它部署了英特爾持久內(nèi)存和Memory Machine軟件。Banca Intesa Sanpaolo 云和混合數(shù)據(jù)中心主管 Nicola Carotti 表示:“MemVerge Memory Machine的 ZeroIO 快照功能顯著提高了新應(yīng)用程序的性能,將恢復(fù)時間從數(shù)小時縮短到了數(shù)秒。”
不過,雖然大內(nèi)存軟件已有一些切實可行且效果不錯的應(yīng)用場景,但大內(nèi)存軟件既是存儲革命在軟件層面的第一個進展,也是MemVerge的第一個版本。范承工也表示,這一版本軟件還有一些值得升級的地方,例如將手動調(diào)控比例升級為智能自動化、ZeroIO快照還可以有更多的數(shù)據(jù)服務(wù),安全服務(wù)也是MemVerge未來會考慮的方向。
范承工認(rèn)為,大內(nèi)存軟件才剛剛開始,這是一件值得MemVerge持續(xù)十幾年時間投入來做的一件事,基于千億美元的內(nèi)存市場,需要更多的軟件來更好地管理優(yōu)化,才能充分發(fā)揮出內(nèi)存的價值,那時候大內(nèi)存軟件將是一個百億美元的市場。
“存儲革命無法靠我們一家創(chuàng)業(yè)公司獨立完成,還需要更多的合作伙伴共同建立一個良好的生態(tài),才能完成這場革命。”范承工說。
責(zé)編AJX
-
DRAM
+關(guān)注
關(guān)注
40文章
2325瀏覽量
183852 -
存儲器
+關(guān)注
關(guān)注
38文章
7528瀏覽量
164330 -
內(nèi)存
+關(guān)注
關(guān)注
8文章
3052瀏覽量
74309
發(fā)布評論請先 登錄
相關(guān)推薦
評論