在7月27日舉辦的Cloud Insight Conference 2018云計算峰會上,青云QingCloud推出一系列新產品和新功能,涵蓋云平臺、超融合、軟件定義存儲、容器、統一云管、云應用管理、基礎設施與骨干網等,完善企業級云模式ICT產品線布局,持續發力企業級市場。青云QingCloud 存儲高級技術專家寧安接受記者采訪,分享了青云QingCloud致力于下一代文件存儲的產品和戰略。
隨著IT技術的發展,企業數據正以爆炸式速度增長。從企業的信息化系統、移動互聯應用、再到物聯網的大勢所趨,數據已經成為企業發展至關重要的生產要素。
一方面,數據海洋使得企業對于大數據的存儲和分析需求增多,IT面臨著越來越多的挑戰;另一方面,軟件定義存儲(SDS)正在成為未來存儲的主流方向,越來越多的存儲解決方案在涌現,為企業用戶有效解決數據存儲、遷移、管理和保護。
根據IDC與Wikibon預測,中國未來幾年的SDS市場年均增長率將達31.55%,2021年規模將達8.6億美金。Gartner 2017年對中國SDS市場分析中指出,越來越多的非結構化數據正存放在由軟件定義存儲管理的低成本存儲設備上,這其中,文件存儲在當前市場需求中占據64.7%的主流份額,遠高于塊存儲25%和對象存儲10.3%的占比。
企業級文件存儲發展趨勢
企業級文件存儲的應用場景非常廣泛,不管是金融、制造、傳媒娛樂、廣電等諸多行業,都需要文件存儲應用。特別是對于制造業而言,海量終端設備帶來數據量的大幅增加,對于存儲的需求也隨之增長。
與此同時,文檔內容管理目標也正在產生改變。一方面,企業產生的數據量呈指數級增長,信息資源爆炸式激增;另一方面,越來越多的非結構化數據正在誕生,IDC有報告指出,80%的企業數據將為非結構化數據。這意味著傳統的信息資源管理技術已經無法應對大數據時代的挑戰。
縱觀企業級文件存儲的發展趨勢,2000年以前,主流的存儲方案是采用傳統的NAS硬件存儲方案。這一時期,硬件控制器決定了存儲系統的性能上限和容量上限,其資源難以被多系統共享,擴展性差、成本高。對于大多數企業而言,內部文件存儲往往采用公司自己架設或者購買的服務器來作為存儲介質。這種方式不僅成本較高,就安全性而言,也存在不少弊端。
2000年以后逐漸出現了分布式文件系統,主要分為兩種架構:一種是以Hadoop HDFS和LusterFS為代表的集中式索引架構,這種架構的文件數量會受到單節點和索引節點容量限制;第二種是全對等Hash架構,完全拋棄單獨的索引節點,其代表是GLuster和Ceph,這種架構的弊端在于擴展擴容不方便,一致性較差。
未來,是否將誕生下一代文件存儲?下一代文件存儲需要具備哪些特征?青云QingCloud 存儲高級技術專家寧安接受e-works記者采訪時指出,“未來的文件存儲至少需要滿足四大特性:首先,全面支持云應用,無縫兼容傳統應用;第二,按需使用,彈性擴容;第三,智能管理與運維,避免人工運維帶來的很多成本問題;第四,實現高可用,保證7*24小時可用?!?/p>
Ceph架構下文件存儲的優劣
在寧安看來,盡管Ceph是呼聲很高的開源分布式的SDS產品存儲系統,同時提供對象存儲、塊存儲和文件存儲三種功能,但仍存在著一定的短板和局限。
客觀來看,Ceph架構的優勢在于其擴展性,它的性能會隨著磁盤數量線性增長,能夠降低硬件成本和運維成本,但它的復雜性會帶來較高的學習成本。
寧安在采訪中介紹,如果用Ceph架構文件存儲功能,通常會有三種方案:
其一,采用CephFS接口,當前仍是不穩定狀態,不適合生產部署。此外,它的元數據服務是單點的,因此無法分布式部署;
第二種采用Ceph的塊存儲接口,通過塊設備掛載到一個機器上,格式化本地文件系統,再對文件系統做NFS服務來暴露數據。這種方法的問題在于它只有一個單點,因為本地系統的限制,無法同時掛載兩個,所以無法負載均衡;
第三種基于Ceph的對象存儲接口+FUSE的掛載來轉化協議。這種方法的問題在于性能比較差,因為有協議轉換的損耗,而且這是對象存儲接口,限制不能隨機修改。
由此也帶來Ceph架構四個方面的問題:
首先是數據一致性問題。因為多份Hash在不同客戶端有不同的狀態,難以維持各個客戶端狀態一致,而Ceph架構的主要特點在于依賴客戶端Hash實現數據定位,所以Ceph架構存在數據一致性問題;
其次是高可用問題,節點恢復和無法遷移時,需要改變Hash區間分布,一邊改變一邊遷移就會影響數據一致性訪問。為了闡述Ceph存在的高可用缺陷,寧安舉了一個真實案例:某大型企業有40多個節點的Ceph集群,某天兩塊硬盤同時出現故障,由于這兩塊壞硬盤的數據遷移恢復了10小時,過程中有部分數據是不能訪問的;
第三是Ceph擴展性問題,這也是由Hash引發的問題。其擴容時每次只能增加一臺,假如增加兩臺,Hash會受到損壞。擴容時只能等一臺數據遷移完畢后,才能增加下一臺。所以無法對它進行緊急擴容,只能一點點去做。
第四運維復雜,企業需要投入大量的人力、物力成本,甚至需要招聘特別懂Ceph的工程師。
青云QingCloud面向下一代的文件存儲
為了順應下一代文件存儲四大特征,QingStor文件存儲提出了三大創新架構:
首先,基于分布式塊存儲NeonSAN。它是具有高性能、強一致的塊存儲,沒有本地文件系統在里面,涵蓋分布式網關和NeonSAN兩類節點;
第二,無限水平擴展。通過目錄和文件分離存儲的架構,元數據層存儲所有索引目錄,可以定位文件具體位置。還有一個組件是控制層,負責下層塊設備的空間分配和事務管理;
第三,并行處理架構。所有的網關節點和NeonSAN節點是全互聯的關系,每個節點之間都可以相互訪問,且是通過最短路徑。集群內數據復制與業務訪問分離,分別通過不同的網絡,因此在數據遷移和擴容時,不會對業務有任何影響。
寧安說,“基于QingStor文件存儲的三大創新架構,QingStor文件存儲的企業級特性可以做到安全可靠、強一致、高可用,并且具有超高性能、彈性可調,同時對成本做出了優化?!?br /> 除此之外,青云QingCloud面向下一代的QingStor文件存儲還具備部署靈活和可視化管理的特性。
在部署環節,QingStor文件存儲可以支持最小規模3節點的存儲網關部署,與3節點塊存儲部署;對于網絡,也沒有特別要求,企業能夠利用現有的交換機去部署TCP/IP網絡,內部數據通信通過基于以太網的RDMA (RoCE),做到低延遲的數據復制;另外,企業可選的存儲介質包括全閃存、在SATA基礎上做SSD緩存加速,以及純SATA。
為了更好地進行文件存儲管理,QingStor開發了可視化管理的Portal,QingStor文件存儲可以在Portal上,對于系統資源池進行管理,也能對于上層文件系統空間做管理,對于整個系統的運行狀態和告警可以一覽無余。
據了解,面向下一代的QingStor文件存儲是青云QingCloud三款存儲產品之一,另外還包括塊存儲方案NeonSAN,以塊驅動的方式來暴露訪問結果,適用于數據庫和虛擬化場景;以及對象存儲方案,能夠存儲海量的非結構化數據,是以HTTP API的方式暴露結果,主要面向新型web應用。
評論
查看更多