存儲,是數字化時代的“糧倉”。它承載著企業的海量數據,是企業數字化轉型的基礎。
然而,隨著非結構化數據在生產業務中的廣泛應用,各行各業正在經歷數據量的爆炸式增長。雖然分布式存儲在大眾認知內具有高性價比和高擴展性,卻未被賦予高性能的標簽。
可以說,分布式存儲沒能完全解決存儲領域“大容量、高性能、高性價比不可能之三角”這一痛點。
分布式存儲的主要優勢在于其出色的對象存儲能力,但在文件存儲的性能表現上,大小文件有所差異。
對于大文件的處理,由于技術壁壘較低,并且許多業界廠商已經針對此進行了深入研發和優化,因此大文件的處理效果相對較好。
然而,分布式存儲對于小文件的處理卻受限于其開源的Ceph架構,需要處理大量小文件時,元數據管理、存儲空間和IO性能等能力跟不上,性能表現并不理想。
至于高性價比,這要求在低成本的同時提供更高的性能和更大的容量。以往業界認為,高性能一定伴隨著高成本,但實際上這是對高性能和高成本之間關系的誤解。
只有找不到合理有效的優化手段或解決方案時,才可能需要通過增加硬件投入來提高性能。
那么,如何解決分布式存儲的“不可能之三角”?
這是一個值得深思的問題,也是一個不小的挑戰?,F在,在存儲賽道上,有一個“老道的新手”用自研技術,成功走到了大容量、高性能、高性價的交集里。
做分布式存儲易做好分布式存儲難
數字化浪潮洶涌向前,與之同行的是,存儲行業也要不斷地創新求變。
2018年前后,視頻、音頻等非結構化數據開始爆炸式增長,特別是在政府、醫療、媒體等領域存在大量的視頻數據存儲需求,對存儲海量數據、存儲系統的擴展性提出了新的要求,以集中式架構為主SAN、NAS傳統存儲瓶頸開始凸顯。
存儲市場需求的變化,也催化了新技術的爆發。這個時期,分布式存儲技術開始在各大廠商之間冒頭。
分布式存儲將數據分散存儲到多個存儲服務器上,并將這些分散的存儲資源構成一個虛擬的存儲設備,從而實現了存儲容量的擴展、性能的提升和成本的降低。
2020年,被視為分布式存儲爆發元年。根據IDC發布的《中國存儲市場季度追蹤報告》,2020年中國分布式存儲市場規模達到了37.2億美元,同比增長68.2%。
其中,企業級分布式存儲市場規模達到了33.8億美元,同比增長69.2%。
盡管分布式存儲已逐步進入生產領域,但市場的變化,仍在催生新的需求。
最初,市場的焦點主要在于“存下來”,即如何存儲日益增長的數據,例如政府的智慧城市項目和醫療影像的長期存儲。
對于這類“第二存儲、備份歸檔”等邊緣數據場景,分布式存儲的低成本、高擴展性能夠很好地滿足。
隨著時間的推進,對存儲“高性能”的要求也日益提升,以滿足例如醫院的PACS閱片場景,實景三維場景,企業EDA場景等應用的需求。
這些應用不僅需要存儲海量數據,還要求快速處理和分析這些數據。顯然,市場上普遍存在的“大容量但低性能”的分布式存儲已跟不上市場的需求。
近年來,隨著AI訓練、芯片等高精尖產業的快速發展,對存儲系統的“綜合性能”提出了更高的要求。
這些應用需要的不僅是海量的存儲容量,更要能夠處理混合負載,即高速的數據處理能力和對不同類型文件的支持。
事實上,在處理“混合負載”這一點上,目前分布式存儲產品普遍性能滿足不好。
混合負載的特點在于,既包括大文件(比如幾百兆甚至幾個G的視頻文件),也包括很多小文件(比如只有幾KB甚至更小的文本文件),當數據量達到一定規模,小文件的處理性能就成為性能瓶頸。
不難發現,分布式存儲在一定程度上能夠解決傳統存儲在性能、擴展性方面的問題,但想要實現高性能的目標,依然非常困難。可以說,做分布式存儲容易,但做高性能的分布式存儲難。
分布式存儲想要解決“大容量、高性能、高性價比”的“不可能三角”難題,目前能夠完全作答的廠商并不多。
入局存儲賽道十年的深信服,正是其中的佼佼者。
堅持自研技術深信服挑戰存儲“不可能之三角”
2013年,深信服作為國內最早鉆研虛擬化技術的云計算廠商之一,憑借虛擬化技術的優勢,開始摸索著切入存儲賽道,那時深信服內部稱之為“虛擬存儲”,顧名思義,扮演的角色是深信服桌面云和超融合存儲底座支撐。
彼時,經過超融合、桌面云的用戶“檢驗”之后的“虛擬存儲”,也日漸成熟。
隨著各行各業數據不斷增長,深信服看到了用戶在小文件場景面臨的困擾。2017年開始,深信服決定獨立發展存儲,加大投入,打造用戶真正需要的存儲底座。
在與傳統存儲廠商的競爭中,深信服搶占了先機:一方面,深信服精準把控了市場需求變化;另一方面,通過自研核心高性能架構,實現了彎道超車。
帶著對用戶需求的深刻洞察,從2020年開始,深信服EDS存儲將目光鎖定在了主存儲領域,專為“高性能大容量文件存儲”而生——能支持混合IO負載,兼具大小文件能力,瞄向高精尖場景。
2023年,深信服發布了EDS分布式存儲501高性能版本,這在存儲業界也意味著分布式存儲能堪當大任,承載核心生產業務。
在深信服看來,存儲“不可能之三角”的破題秘籍在于,充分發揮硬件存儲介質性能和提升軟件數據管理及處理能力,從而取得“高性能+大容量+高性價比”的平衡。
高性能和大容量一步到位
存儲設備的性能通常由其讀寫速度和承載數據量的能力來衡量,特別是在處理大量小文件時,讀寫速度和系統的穩定性尤為重要。
在讀寫性能提升上,深信服EDS存儲設計的讀寫模式充分適應了SSD與HDD混合閃存介質的特性,以此充分激發硬件性能。同時,通過增加NVMe SSD即可實現容量的橫向擴展、性能的線性提升。
同樣大小的內存空間,深信服EDS存儲基于多活的元數據能力,可以充分發揮各節點的磁盤性能,讓元數據訪問效率提升 10 倍以上,可緩存的元數據規模是Ceph系產品的7倍,在 AI 訓練等場景下可以保持 90% 以上的元數據命中率。
不僅如此,深信服EDS存儲在IO整合、數據緩存與協議增強等核心技術方向上也構建了自己的核心能力,來提升海量小文件和大文件高吞吐場景的性能。
通過小文件的聚合和動態IO整合,深信服EDS存儲實現了性能層空間的最小化,并且在持續寫入文件的過程中,保障性能層不會被擊穿,始終保有充足的空間進行數值的排序與整合,通過這樣的動態整合來解決容量使用超過80%后導致的垃圾回收擠占而性能下降的問題。
對于延遲敏感型業務,深信服EDS存儲采用自適應三級緩存技術,縮短數據路徑將數據時延降至us級。
在協議增強上,相比于標準文件共享協議協議,深信服EDS存儲提升了2-3倍,進一步降低協議對性能的額外開銷,縮短時延和提升性能。
深信服EDS存儲性能和容量線性同步擴展
基于分布式存儲架構的天然優勢,當用戶需要更大的存儲空間或者處理能力時,只需要添加更多的節點即可,無需改變已有的硬件或軟件結構,也無須面臨替換存儲陣列硬件的昂貴投入,獲得性能和容量的真正“自由”。
打破常規:以更低成本驅動高性能和大容量
傳統陣列存儲如果要同時滿足大容量、高性能的需求,往往需要投入很高成本,高昂的磁盤陣列擴容擴展的費用也讓很多企業不堪重負。
而在深信服看來,同時獲得高性能和大容量可以用更經濟的方式,也不需要過度依賴昂貴、高端的硬件配置。
一方面,深信服EDS存儲實現了冷熱數據自動分層,熱數據存儲在NVMe 或SATA固態盤構建的高性能層,冷數據存儲在機械盤構建的大容量層,這樣能幫助用戶節省存儲的硬件成本。
另一方面,基于深舟數據管理平臺、EDSData Explorer等軟件,實現數據的高效壓縮和管理,64GB內存可以承載億級以上規模小文件的高速讀寫,幫助用戶合理規劃存儲的投入成本。
深信服EDS存儲自研架構
通過硬件+軟件的組合式創新,深信服EDS分布式存儲在高性能、大容量、高性價比等方面都取得了顯著的提升,能夠滿足容量大且大小文件混合負載的應用場景,很好地解決了存儲“不可能之三角”。
對存儲而言,性能優化可謂是一場沒有終點的馬拉松,持續在通用硬件上激發出更高、更穩定的存儲性能,通過軟件實現更快的數據接入、數據管理,用戶便可以用更低的成本投入獲得可支撐核心業務運行的存儲產品。
自研分布式存儲系統的深信服,技術棧更加先進,加上軟硬件結合與適配,在性能、可靠性等方面出類拔萃,勝任高精尖領域的各種存儲需求。
一款產品好不好用客戶反饋是真正的試金石
一款好的存儲產品,不僅是實驗室里的高性能,更是用戶生產環境的實際需求的高性能。
上海某??漆t院的影像數據每年以15%的速度增長,深信服EDS存儲不僅滿足其擴容需求,而且還能輕松應對就診高峰期的高并發閱片,閱片端每秒可加載1000張CT影像。
這意味著,醫生可以在更短的時間內完成閱片,提高工作效率,為患者提供更優質的醫療服務。
除了實實在在為醫院、醫療助力之外,深信服EDS存儲也應用在AI、芯片、測繪、媒體等多場景。
在芯片設計場景,深信服EDS存儲可以支撐更大規模的EDA仿真任務,激活100%活躍算力。這意味著,芯片設計企業可以更快地完成EDA仿真,縮短產品研發周期。
在測繪場景,EDS 501高性能版本每天可以處理70000張航片。
在航片導入場景,相比于其他廠商大文件吞吐能力提升2倍多;三維建模場景的小文件效率可接近于本地NVMe SSD,CASS3D在線打開海量小文件組成的三維成果數據耗時相比于某陣列NAS縮短8倍多。
結語
在高精尖領域的成功,深信服證明了EDS具有強大的市場適應性,這也為其在其他行業的發展奠定了良好的基礎。深信服之所以在這些場景中表現出強勁的性能,這得益于EDS的“業務優先”理念。
深信服EDS存儲從不“唯數據論”,不盲目追求性能數據上的提升,而是落到真實的業務場景,針對業務特征進行性能優化,為實際業務運行帶去更好的體驗。
同時,深信服EDS也不鼓吹“大而全”,而是聚焦在高性能文件存儲這一領域精益求精,力爭領導者。
深信服作為存儲領域“老道的新手”,在高性能存儲之路上,追求的不僅是將自身在云技術棧十多年積累的存儲技術用于EDS存儲,更重要的是深入到每個用戶的實際應用場景中,以生產業務的高性能需求為導向,真正實現用戶需求和技術優勢的最佳結合。
【關于科技云報道】
專注于原創的企業級內容行家——科技云報道。成立于2015年,是前沿企業級IT領域Top10媒體。獲工信部權威認可,可信云、全球云計算大會官方指定傳播媒體之一。深入原創報道云計算、大數據、人工智能、區塊鏈等領域。
審核編輯 黃宇
-
存儲
+關注
關注
13文章
4353瀏覽量
86069 -
數字化
+關注
關注
8文章
8846瀏覽量
62054 -
分布式存儲
+關注
關注
4文章
172瀏覽量
19554
發布評論請先 登錄
相關推薦
評論