隨著智能時代的到來,數據成為重要的生產要素。人工智能、云計算、物聯網、大數據等新技術推動包括工業、農業、服務業等許多行業、產業進行大規模的數字化變革,逐漸形成以數據+智能為中心的新型業務,推動服務化延伸、網絡化協同、智能化生產和個性化定制等新的變化。
日前,華為智能數據與存儲領域副總裁張福鵬在#∑co時間#活動中分享了題為“站在未來看現在:智能時代數據存儲產業談”的演講,帶大家走進了精彩的存儲未來世界。
智能時代,數據存儲正面臨四大挑戰
挑戰1:生產交易類數據高并發、低延時、高可靠
據張福鵬介紹,隨著5G帶來的大帶寬、低時延,對數據處理速度、頻度、可靠性提出了新的要求;以金融交易為例,我們每天用到的微信、支付寶等小額支付,使得交易量增長10倍以上,而且在線購物也不再受門店營業時間的限制,必須做到7x24小時不間斷服務。這些都對數據交易的時延、可靠性等提出了前所未有的挑戰。
挑戰2:海量非結構化數據存儲,長期保存與價值挖掘
類似今日頭條每天50PB的數據,絕大多數都是非結構化數據。窄帶和寬帶物聯網、4K/8K視頻、自動駕駛等多數據源、多模數據的大量采集、長期保存、冷數據變溫數據等帶來了新的海量數據存儲需求。
挑戰3:數據無縫流動,融合高效的處理與分析
數據要長期保存,更要無縫流動才能產生更多的價值。從實際業務來看,在距離數據產生最近的邊緣場景,比如攝像頭,IoT,傳感器等,數據如何存儲和高速處理,如何提供邊、中心、云的統一數據保護和管理,既可以讓數據高速流動,又能做到每比特成本最優,價值最大,也是我們企業全場景業務面臨的新挑戰。
挑戰4:數據全生命周期管理,場景化、智能化、降本增效
數據全生命周期管理,從數據產生的源頭,實現邊云協同疊加AI的能力。業務希望能充分利用云上數據量大的優勢形成基線,同時在本地增量訓練。結合具體業務提供個性化調優,實現對數據生產、分析、備份、歸檔的全生命周期的智能化管理。這也是顛覆傳統IT架構,從數據視角打破邊界,構建數據基礎設施的一個重要理念。
預見|智能時代存儲
智能時代,存儲應該具有哪些特征才能更好的應對新技術、新業務帶來的新挑戰呢?張福鵬表示,智能時代數據存儲要滿足三個主要特征,即智能、融合、高效。
智能
智能時代的數據存儲要充分利用AI的能力實現Storage for AI和AI in Storage,進而承載數據全生命周期智能管理。
華為OceanStor在邊緣存儲端加入了AI芯片,實現個性化AI,存儲自身基于AI芯片對存儲數據進行深度學習,實現存儲設備的獨特性能優化。
同時將邊緣存儲的數據采集上傳云端,數據在云端經過訓練和建模后,形成通用模型發布給邊緣存儲,存儲AI芯片再基于通用模型進行強化學習,與自身數據特征結合,培訓建模形成個性化模型,再來指導存儲實現場景預測、故障推理。整體形成一個端云協同AI芯片加速的自驅動。
為了應對萬物互聯智能時代數據存儲的易管理、易運維需求,華為還提供了基于AI使能的自動化數據管理系統,幫助用戶實現數據自動化與智能管理與運維。而在全生命周期數據管理方面,華為則將存儲系統的智能管理分為三層,即設備層、數據中心層、和云上云下,通過三層聯動,實現高效的運維運營。
數據融合
除了智能化管理,面向多模數據、多級介質、邊、中心、云物理位置、多種協議帶來的數據孤島,融合是華為持續追求的。
智能時代存儲如何打通數據孤島,實現從端到云的融合互通能力,華為認為有幾個地方需要重點考慮:異構融合、多服務融合、分級歸檔融合、生產分析融合、端-云融合。
當然,面向實際的業務場景,還需要考慮包括數據庫與存儲融合、萬核級調度等,這些都是華為持續要構建的存儲能力,讓數據存得下、流得動、用得好。
極致可靠
智能時代存儲三大特征,除了智能、融合這兩個非常重要的特征之外,面向實際業務需求,還需要高效的數據存儲與管理。這里面可分解為極致可靠、極致容量和極致性能三個方面來分析。
在高可靠性領域,不僅僅是在架構層面,在組件(硬盤)、系統(RAID)、解決方案(雙活)層面同時要有大量的創新。
硬盤的可靠性是存儲系統的基礎,華為在盤級可靠性上做了大量的研究,并把結果應用到華為自研的SSD上,比如擦寫次數是SSD盤片壽命的主要因素,華為在硬盤上采用了SSD全局磨損均衡&全局反磨損均衡的專利技術,來提升SSD壽命。
在架構可靠方面,智能時代存儲架構也需要考慮通過前端共享互聯、控制器全互聯、后端共享互聯,真正意義上實現:全局互聯、全局負載均衡,做到更可靠更均衡。而目前華為存儲的架構可靠性已經領先于業界同類產品。
在系統可靠方面,隨著趨勢的發展,大盤時代來臨,硬件+算法才能構筑系統級的高可靠能力。華為RAID-TP通過創新的數據校驗算法,可以實現系統內3個盤同時失效,業務不受影響。
在方案可靠方面,要實現免網關雙活的極致可靠,站點間要求實現負載均衡,RPO=0 & RTO≈0。此外,專屬硬件設備可以做到存儲互通,在3DC更高級別可靠性上可以實現靈活組網,同時降低容災系統建設成本。
在云級可靠方面,在生產中心方案級可靠的基礎上,通過存儲系統的容災特性,如秒級快照、備份、統一管理等,實現災備中心,以及云上中心的融合數據管理,做到中心間分鐘級的可靠性,和云上云下小時級的災備與恢復。
極致容量
面對海量數據爆炸式增長,新業務對數據存儲和管理不但要求持久化、數據不丟失,更要考慮極致的容量和性價比。
面向全閃存的時代,存儲具備了智能芯片,彈性EC算法提出了EC聚合方案,多個數據塊可以在一個EC分條上進行聚合,以獲得性能和EC利用率的雙重保證。通過彈性EC技術,可以將EC比例提升到22+2,磁盤利用率達到91.6%,并且,在相同的硬件條件下,其性能可與傳統三副本性能持平,讓存儲利用率和可靠性提升有商用價值,支撐企業在云時代轉型走得更遠。
在計算存儲分離方面,華為提供基于原生HDFS協議的分布式存儲,不但簡化了大數據海量數據存儲的配置和管理,同時可以使能計算與存儲按需擴容,實現價值最大化。
極致性能
華為認為,對于智能時代的存儲,要充分利用芯片+算法+架構來全面提升性能、降低延時,為業務帶來新的價值。
為了實現端到端關鍵路徑加速,從傳、算、智、管、存上引入關鍵芯片。同時在算法方面,華為存儲以創新的Flashlink盤控配合算法,能夠實現控制器、硬盤框和SSD盤的聯動。
而為了支持數據中心的網絡存儲,華為通過NVMeover Fabric可以實現NVMe標準在多種網絡上的擴展,達到降低存儲網絡協議棧處理開銷并提供高并發低延時應用,適應SSD介質驅動的存儲架構演進。
同時,為了在前端數據傳輸階段,加速NVMe協議傳輸效率,華為存儲還設計了新的DTOE智能網卡。上一代使用的TOE網卡,只是較傳統網卡,實現了部分數據傳輸卸載處理,依然存在內核中斷產生的高延遲開銷。
華為OceanStor:智能+硬件+算法,打造智能時代存儲新架構
華為OceanStor面向智能時代存儲打造了基于“智能+硬件+算法”的創新架構,基于Memory Fabric打造以內存/SCM為中心的極致性能層,基于ALL IP的全閃存極致成本和高性能的容量層,提供數據存儲的智能分層管理。
同時面向CPU / NPU/GPU基于創新算法和高速互聯協議提供萬核級計算資源池化,智能調度;面向業務提供基于容器的異構微服務化,打破內存性能墻、算力墻、協議墻等邊界;
還基于數據全生命周期的智能管理系統,為萬物互聯的智能時代持續提供符合時代要求的創新存儲產品。
談到2020年華為在存儲領域的目標時,張福鵬表示:在2020年,我們將圍繞數據基礎設施的三大核心場景,即生產交易、數據湖以及邊緣上提供業界領先的解決方案。
面向生產交易,我們持續推進閃存普惠,在永快、永穩、永智方面持續發力,采用全新的硬件設計、面向全閃存的FlashLink架構以及久經驗證的OceanStor OS操作系統,從架構穩定性、業務高性能、到運維智能化方面,進行技術創新和升級。
面向數據湖,我們基于高效彈性EC算法,業界第一的高密大容量硬件,滿足海量數據高效存取需求;通過原生HDFS協議實現大數據存算分離,計算存儲獨立擴展,為實現TCO大幅度節省;基于Kunpeng芯片算力卸載+AI Fabric無損網絡打造性能標桿;非結構化協議互通,讓HPDA/AI等數據分析無需復雜數據拷貝,效率提升1倍以上;數據生命周期管理方面實現業界首個塊、對象、大數據、文件多數據服務統一管理。
面向邊緣,我們提出極簡、智能的智能邊緣解決方案,運用云上通用智能+邊緣個性化智能協同技術,基于AI全生命周期智能管理,從資源發放到故障定位全方位智能,使得容量趨勢提前365天,性能趨勢提前60天預判、系統提前14天發現故障盤、93%問題發現即給出方案。創新的智能芯片+邊緣協同的算法,樹立了存儲業界智能化的新標桿。
寫在最后,華為公司經過了18年的技術研發,已經進入到快速增長期。截止到2019年Q4,連續四季度持續保持30%左右的高速增長。華為在中國市場已經連續5年保持了第一的市場份額,并在2019年第四季度全球銷售收入排名升至第三,顯現實力。這都歸功于長期不斷的在基礎的硬件、算法、系統以及架構上的科研開發。
未來,華為公司會持續投入技術研究,并在產業組織、專利和研發多方面深耕,在智能時代存儲產業向下扎到根,保障我們長期能提供最先進、最好的產品解決方案。同時,華為攜手合作伙伴,打造智能、融合、高效的存儲產品和方案滿足客戶創新數字化和云化轉型需求。
責任編輯:gt
-
云計算
+關注
關注
39文章
7855瀏覽量
137729 -
人工智能
+關注
關注
1796文章
47642瀏覽量
239784 -
大數據
+關注
關注
64文章
8908瀏覽量
137683
發布評論請先 登錄
相關推薦
評論