唐代詩人盧綸，有一首膾炙人口的《和張仆射塞下曲》，“月黑雁飛高，單于夜遁逃。欲將輕騎逐，大雪滿弓刀。”詩中的慷慨激昂，熱血炙烈，千年來讓無數(shù)國人心魂激蕩。

時代變遷，歲月遷移，今天我們所期望聽到的熱血故事或許不在現(xiàn)實世界，而是在數(shù)字山野的輕騎追逐中，在核心科技的發(fā)展競賽里。

《數(shù)字中國建設整體布局規(guī)劃》中，明確提出了構筑自立自強的數(shù)字技術創(chuàng)新體系，為關鍵核心技術突破發(fā)展指明了方向。在核心科技自立自強中，越來越多的“欲將輕騎逐，大雪滿弓刀”的故事正上演著。

5月24日，在德國漢堡舉辦的ISC 2023（國際超算大會）期間，更新了最新一期的IO500榜單，這是國際最權威的存儲性能排行榜。在IO500極為重要的10節(jié)點榜單中，華為OceanStor Pacific分布式存儲全面刷新了世界紀錄。尤其驚人的是，華為OceanStor Pacific的總得分超過了13萬分，是上屆冠軍得分的15倍之多。

在世界紀錄背后，在華為OceanStor Pacific分布式存儲霸榜背后，蘊藏著存儲鎮(zhèn)守數(shù)字經(jīng)濟大國重器的支柱意義，也蘊藏著中國存儲從跟隨走向領先的全球化趨勢。

一紙榜單背后，是一份對數(shù)字山河的守候，是一場輕騎絕塵的突圍。

數(shù)字時代，半壁江山

想要講清這個故事，首先需要了解一個背景：HPDA為什么重要？以及面向HPDA場景的分布式存儲為什么價值非凡？

首先HPDA是由HPC（High Performance Computing高性能計算）發(fā)展而來。HPC是一種數(shù)據(jù)分析的應用場景。其通過聚合大量的計算和存儲單元對數(shù)據(jù)進行分析，從而解決復雜問題。從基因測序到芯片制造，從油氣勘探到航空航天，再到我們生活中的天氣預報、影視特效渲染，都離不開HPC作為計算底座。

總之一句話，HPC是現(xiàn)代社會發(fā)展的計算基石。所以有人笑稱，《三體》里的外星人要想遏制人類科技，其實不用那么麻煩，不讓人類用HPC就行了。

隨著HPC性能與技術的不斷進步，人類能夠在固定時間內(nèi)分析更多數(shù)據(jù),與之相伴的，我們也會保存更多數(shù)據(jù)給HPC場景，用來挖掘數(shù)據(jù)背后的價值。

隨著相關數(shù)據(jù)量的指數(shù)級增長，HPC領域逐漸認識到提升數(shù)據(jù)分析能力、革新數(shù)據(jù)分析機制的重要性。將AI、大數(shù)據(jù)等技術分析手段與HPC結(jié)合，是更高效實現(xiàn)數(shù)據(jù)價值的新形式，即HPC、AI、大數(shù)據(jù)融合而成的 HPDA（High Performance Data Analytics）。

根據(jù)相關數(shù)據(jù)，2017 到 2023 年間，HPDA類應用的年增長速度達到了15.4%，HPC-based AI 類應用的年化增速更將達到 29.5%，遠高于傳統(tǒng)HPC的7.8%。由于HPDA事關國計民生，與國家的科技創(chuàng)新能力、科技自立自強水平緊密相關，HPDA已在全球范圍內(nèi)被認為是未來科技發(fā)展的戰(zhàn)略高地，被稱為占據(jù)數(shù)字時代的半壁江山。

一項技術的快速增長，往往會給配套設施帶來挑戰(zhàn)。HPDA的快速發(fā)展，就給存儲產(chǎn)業(yè)帶來了巨大的升級需求。隨著數(shù)據(jù)量從PB級向EB級演進，存儲成本日益增高。高性能計算量的持續(xù)增加，以及大數(shù)據(jù)、AI能力的加入，又對海量數(shù)據(jù)的多次提取、流轉(zhuǎn)、讀寫、存儲能力提出了更高的要求。

因此面向HPDA的分布式存儲，正在承載越來越多的目光和聲量。有人認為，誰掌握了HPDA存儲，誰就能掌握尖端科研的未來。

但現(xiàn)實情況是，中國在發(fā)展適配HPDA場景的分布式存儲過程中，正遇到一系列問題。

比如說，中國目前仍然有75%的數(shù)據(jù)存納于機械硬盤之中。相對于閃存盤，機械硬盤容量密度低，數(shù)據(jù)讀取慢，能耗高，可靠性差。相對來說，閃存介質(zhì)幾乎沒有缺陷，尤其更適合HPDA場景這種對性能與時延異常敏感的工作負載。

在目前階段，“磁退硅進”已經(jīng)成為存儲產(chǎn)業(yè)發(fā)展的核心趨勢。比如全國人大代表、華中科技大學計算機科學與技術學院院長馮丹教授就提出，需要加快發(fā)展中國技術創(chuàng)新的，以半導體全閃存技術為核心的下一代存儲技術標準體系。為此，要抓住全球存儲介質(zhì)升級、存儲架構跨代演進窗口期，盡快完善中國自身的數(shù)據(jù)存儲、數(shù)據(jù)保護、安全評測等關鍵標準體系建設。

在各個企業(yè)級存儲相關領域中，以HPC、HPDA場景為代表的分布式存儲全閃存替換任務更加急迫。好在，華為分布式存儲已經(jīng)開始行動，推進面向全閃存的一系列改造。比如說，本次IO500霸榜的華為OceanStor Pacific分布式存儲，就是采用了全閃存機型。未來分布式存儲的全閃化已經(jīng)是確定性的產(chǎn)業(yè)走向，面向這個趨勢，從產(chǎn)業(yè)側(cè)到應用側(cè)都應該加速分布式全閃的替換進程。

一件毋庸置疑的事就是，即便前路漫長，中國分布式存儲全閃存替換是大勢所趨，發(fā)展全閃分布式存儲已經(jīng)刻不容緩。

再者，適配高性能計算的Lustre分布式文件系統(tǒng)已經(jīng)明顯落后。Lustre 1.0早在2003年發(fā)布，隨后得到了一系列歐美IT企業(yè)與美國能源部的認可，逐漸形成了談起HPC，就無法繞開Lustre的局面。但事實上，Lustre在適配HPDA的過程中已經(jīng)展現(xiàn)出了架構落后、磁盤碎片化問題嚴重、性能瓶頸明顯、安全能力不足等短板。

在受目前外部環(huán)境未知的干擾下，對于存儲這樣承載著科技明珠HPDA的關鍵基礎設施，逐漸實現(xiàn)自主可控也是當務之急。

綜合來看，占據(jù)數(shù)字時代半壁江山的HPDA，亟需自主創(chuàng)新、實力絕群的存儲力量來加持。

十分幸運的是，它來了，伴著“地表最強”的稱號走來了。

定海神針，霸榜之路

IO500是HPC領域最具影響力的世界級存儲排行榜，被稱為“存儲界的諾貝爾”。其主要針對存儲系統(tǒng)的性能進行評測與排名，綜合考察了帶寬性能(GiB/s)和元數(shù)據(jù)性能(kIOP/ s)兩大部分。其中10節(jié)點榜單統(tǒng)一了計算規(guī)模，把基準性能測試的計算節(jié)點限制至10個，能夠更全面、更準確地反映出存儲在日常應用中的實際表現(xiàn)，備受全球HPDA領域用戶關注。

綜合來看，IO500在目前階段就是最具公允性與說服力的存儲性能榜單。一方面，經(jīng)過多年發(fā)展，其頒布結(jié)果和行業(yè)價值已經(jīng)得到了全球數(shù)字化產(chǎn)業(yè)的承認。另一方面，IO500榜單的測試非常客觀、科學，其提供了嚴苛的標準化性能測試套件，確保結(jié)果可信。值得一提的是，IO500榜單有著公允的測試人員配置與學術監(jiān)督機制，避免了不少榜單受地緣因素影響，惡意打壓他國產(chǎn)品技術等現(xiàn)象。

在這樣的存儲領域最高舞臺上，華為OceanStor Pacific分布式存儲以一騎絕塵的姿態(tài)，完美刷新了紀錄。其通過模擬不同的I/O應用模型，歷經(jīng)12項苛刻的場景測試，整體達到了2400 GiB/s的帶寬與770萬 kIOP/ s的元數(shù)據(jù)性能。打破IO500紀錄十數(shù)倍的霸榜行為背后，可以仰望到華為OceanStor Pacific的技術成果在業(yè)界鑄就了又一座豐碑。這座豐碑像一枚定海神針，在數(shù)字山河蕩氣回腸。

十年磨一劍，一朝試鋒芒。成功霸榜之前，華為分布式存儲已經(jīng)用了十年時間深耕細作，累積深厚技術，不斷創(chuàng)新。從這次IO500總覽星圖中就可以看到，從總體得分、帶寬性能、元數(shù)據(jù)性能等五個維度來看，華為OceanStor Pacific全面實現(xiàn)了“五邊形戰(zhàn)士”的成就，沒有一處短板，沒留下任何空缺。難怪有人說，這次IO500出爐，讓全球看到了華為存儲藏不住的王者實力，看到了中國存儲崛起的必然性。

快馬加鞭，實力斐然

那么我們自然有必要刨根問底，看看華為OceanStor Pacific究竟是如何實現(xiàn)這些成績的？

俗話說，天下武功，唯快不破，對于存儲來說也是如此，快就意味著性能優(yōu)勢，意味著提升了HPDA的工作效率與數(shù)據(jù)分析能力。為了追求這個快，華為采取了不斷精進的四層加速架構，這也被稱為華為存儲獨有的“多維度加速”體系：

1.應用加速：面向HPDA為代表的數(shù)據(jù)密集型應用，華為分布式存儲業(yè)界唯一的應用感知DataTurbo加速引擎，通過融合數(shù)據(jù)格式、近數(shù)據(jù)處理和特征處理算子卸載加速等技術，實現(xiàn)了HPDA生態(tài)應用性能的倍增，提升了應用處理效率。

尤其針對HPDA愈發(fā)密集、愈發(fā)不可或缺的大數(shù)據(jù)環(huán)節(jié)，華為統(tǒng)一了數(shù)據(jù)湖和數(shù)倉內(nèi)的文件格式，并優(yōu)化了元數(shù)據(jù)結(jié)構，創(chuàng)新性地在存儲側(cè)為計算引擎開啟緩存能力，實現(xiàn)了效率60倍的提升，讓數(shù)百PB數(shù)據(jù)的查詢時間縮減至10秒。

2. 算法加速：通過獨創(chuàng)的SmartBalance全均衡設計，華為可以實現(xiàn)對數(shù)據(jù)類型和I/O流的智能感知，從而能夠提升HPDA業(yè)務混合負載的處理效率。這不僅兼顧了CPU算力不足或調(diào)用堆棧深度等軟件問題引起的IOPS瓶頸，更解決了HPC多流程跨系統(tǒng)的數(shù)據(jù)遷移、數(shù)據(jù)膨脹問題。

3.網(wǎng)存加速：華為OceanStor Pacific通過自主創(chuàng)新的網(wǎng)絡芯片支持RoCE，同時支持RDMA和IP的訪問能力。在同時支持帶寬、IOPS等不同類型的業(yè)務時，可以智能調(diào)整網(wǎng)絡的相關參數(shù)，大幅降低不同存儲節(jié)點間的數(shù)據(jù)交換時延。

4.架構加速：與陳舊的Lustre開源分布式文件系統(tǒng)架構相比，華為分布式存儲帶來了全對稱式分布式架構。據(jù)測評，Lustre的非對稱設計會導致在7對MDS時出現(xiàn)性能瓶頸，并且網(wǎng)元部件眾多而導致IO路徑漫長。與此不同的是，華為OceanStor Pacific的全對稱架構打破了元數(shù)據(jù)瓶頸，性能可以隨容量實現(xiàn)絕對的線性增長。

此外，與Lustre對負載的單一路徑讀寫、覆蓋寫模式不同，華為OceanStor Pacific采用智能IO路徑選擇與Append-Only模式，避免長時間運行導致的磁盤碎片化問題，實現(xiàn)動態(tài)混合IOPS性能提升20%。

不僅如此，相比Lustre自身無冗余保護，純粹依賴底層SAN陣列的RAID保護的安全模式，華為OceanStor Pacific憑借軟硬一體的穩(wěn)定深度可信協(xié)同，滿足跨節(jié)點冗余保護，支持最大4節(jié)點故障業(yè)務不中斷。

通過四大維度的全面技術創(chuàng)新，華為實現(xiàn)了分布式存儲的“快馬還需一鞭”，比想象中更快一步。這些技術創(chuàng)新點的疊加產(chǎn)生了一種化學反應，讓華為OceanStor Pacific的性能遠超業(yè)界競品，做到了這樣一句武俠小說里的形容——真正的強大，是沒有對手的。

龍城飛將，家國守候

與大家想象的不同，華為分布式存儲并非遠在天邊，其所帶來的價值就在我們的城市中，就在我們的生活里，就在科技自立自強的披星戴月中。

比如說，山東的朋友應該都對濟南超算非常了解。國家超級計算濟南中心，是科技部批準成立的千萬億次國際超級計算中心之一，目的是為打造超級計算的高性能數(shù)據(jù)分析HPDA平臺，從而支撐學術攻堅，賦能透明海洋、類腦計劃、基因組學、人工智能、新藥創(chuàng)新等領域的大科學計劃、大科學工程的實施。

這樣一個重要的平臺，在存儲資源搭建過程中卻也遇到了一系列問題。比如說以文件存儲為主的HPC平臺、AI平臺，與以對象存儲為主的云平臺，存在嚴重的數(shù)據(jù)孤島，最大的難題是不同平臺間的數(shù)據(jù)流動。并且，存儲資源的相互搶占，會導致原本充沛的算力無法發(fā)揮，整體系統(tǒng)效率不高。

峰回路轉(zhuǎn)，華為OceanStor Pacific分布式存儲有效地解決了這些問題。通過結(jié)合數(shù)據(jù)流動軟件，華為分布式存儲幫助濟南超算打造了超算領域首個最大規(guī)模的數(shù)據(jù)流動平臺，其可支持打通數(shù)據(jù)流動，促進數(shù)據(jù)跨域創(chuàng)新，助力濟南超算中心打造數(shù)據(jù)密集型超算。在我們?yōu)闈铣恪⒅袊阕院罆r，似乎也應該記得軍功章有華為OceanStor Pacific的一份。

華西醫(yī)院，是四川朋友非常了解的一家醫(yī)療機構。除了強大的醫(yī)療能力，華西還肩負著科研探索、引領西南地區(qū)生物醫(yī)藥事業(yè)發(fā)展的重任。其中，華西生物醫(yī)學大數(shù)據(jù)中心是華西醫(yī)院的健康醫(yī)療大數(shù)據(jù)研究與應用開放共享平臺，其推進的大規(guī)模全基因組分析，以及臨床成果轉(zhuǎn)化，是華西生物醫(yī)學大數(shù)據(jù)中心的重要探索方向。

想要滿足華西在基因領域的數(shù)據(jù)存用，也有著一系列挑戰(zhàn)。基因測序產(chǎn)生的數(shù)據(jù)容量普遍達到了TB級別，對數(shù)據(jù)存儲提出了挑戰(zhàn)。華為OceanStor Pacific分布式存儲，為華西醫(yī)院提供了更高性能的存儲底座，實現(xiàn)了200倍存儲性能提升，全基因組分析流程時間從傳統(tǒng)的24小時縮短到了7分鐘。

都說21世紀是基因的世紀，在認識我們自己前，首先需要妥善的存儲作為探秘基因工程的起點，華為OceanStor Pacific分布式存儲再次守護成功。

由此不難看出，華為OceanStor Pacific既是數(shù)字中國的守護者，也是數(shù)字中國的加速器。它默默守護著科技創(chuàng)新、前沿探索，幫助每一座城市在超算的時代里熠熠生輝。

目前階段，華為分布式存儲在歐洲、中東、拉美和亞太的關鍵業(yè)務場景均實現(xiàn)了大規(guī)模突破，達到了2022年全球二級存儲收入排名第二的成績，在總份額中占比25%，并保持著18%的增速。從國內(nèi)來看，華為分布式存儲連續(xù)六年市場第一，占比高達48.2%，同時在海外，華為分布式存儲也受到廣泛認可，份額達到25%，在文件與對象存儲上的收入增速高達50.8%。

未來，我們應該會看到華為存儲出現(xiàn)在更多的榜單上，欲將輕騎逐，大雪滿弓刀，越來越多的數(shù)據(jù)中心、實驗室、工廠、農(nóng)田里，將上演以存儲定未來的故事。

尤其在這個時代，華為OceanStor Pacific折桂IO500還有一重獨特的意味。這重意味，可以用一句邊塞詩來表達：但使龍城飛將在，不教胡馬度陰山。