專(zhuān)家介紹:王伯韜
24年IT行業(yè)經(jīng)驗(yàn)。1998年加入國(guó)際商業(yè)機(jī)器(中國(guó))有限公司,先后在中國(guó)技術(shù)支持中心、系統(tǒng)和科技事業(yè)部、企業(yè)IT架構(gòu)師團(tuán)隊(duì)、IBM中國(guó)系統(tǒng)中心等部門(mén)工作。獲得IBM高級(jí)認(rèn)證系統(tǒng)架構(gòu)師(Senior Certified IT Architect),參與過(guò)國(guó)內(nèi)多家電信企業(yè)、大型公共服務(wù)機(jī)構(gòu)的IT系統(tǒng)架構(gòu)設(shè)計(jì)項(xiàng)目。目前擔(dān)任IBM中國(guó)科技事業(yè)部存儲(chǔ)團(tuán)隊(duì)架構(gòu)師。
真實(shí)經(jīng)歷引發(fā)的思考
2022年5月2日下午12:05 我收到了以下流調(diào)短信與電話(huà):
[北京市疾控中心提示]您好!根據(jù)市衛(wèi)健委通報(bào)的新冠疫情,經(jīng)流行病學(xué)調(diào)查,您與感染者存在時(shí)空交集,有感染風(fēng)險(xiǎn)。請(qǐng)您及時(shí)向所在社區(qū)和單位報(bào)告....
此時(shí),發(fā)現(xiàn)北京健康寶已彈窗,隨后接到流調(diào)工作人員電話(huà)。
流調(diào)員:“請(qǐng)問(wèn)您4月30日下午2點(diǎn)是否去過(guò)朝陽(yáng)區(qū)xx商場(chǎng),xx餐館”
我:“稍等我看一下……,當(dāng)時(shí)沒(méi)有去過(guò)您提到的幾個(gè)地點(diǎn),但是去過(guò)幾個(gè)街區(qū)之外的xx吃飯,不過(guò)有可能開(kāi)車(chē)經(jīng)過(guò)了您提到的地方”
流調(diào)員:“好的,那您去所在社區(qū)居委會(huì)報(bào)備,說(shuō)明情況,持24小時(shí)核酸并簽署承諾書(shū),然后可以解除彈窗?!?/p>
疫情期間當(dāng)我們的身邊發(fā)現(xiàn)確診病例,大家都希望看到這些人的行動(dòng)軌跡,如果發(fā)生了時(shí)空關(guān)聯(lián),就會(huì)收到上面的信息和電話(huà)。目前,疫情防控已經(jīng)變成了我們生活的一部分。大家都希望通過(guò)精準(zhǔn)科學(xué)的方式找到疫情防控和正常生活的平衡點(diǎn),但又談何容易。我們可以從數(shù)據(jù)流向推測(cè)和分析事件的成因。然而極致的“精準(zhǔn)”,需要數(shù)據(jù)量足夠多,包括手機(jī)位置信息,流調(diào)人員的排查信息,現(xiàn)場(chǎng)流調(diào)信息等等。同時(shí),數(shù)據(jù)量暴漲也是需要面對(duì)的問(wèn)題。
其實(shí),近年來(lái)各個(gè)行業(yè)的數(shù)據(jù)量都呈幾何級(jí)增長(zhǎng)。如今,隨著傳統(tǒng)業(yè)務(wù)轉(zhuǎn)型,新時(shí)代業(yè)務(wù)云計(jì)算、大數(shù)據(jù)分析、人工智能等新一代應(yīng)用的出現(xiàn),非結(jié)構(gòu)化數(shù)據(jù)并行文件存儲(chǔ)給各行各業(yè)帶來(lái)了諸多挑戰(zhàn)。
一家人工智能芯片的企業(yè)于2017年流片量產(chǎn)了中國(guó)首款邊緣AI芯片,2019年量產(chǎn)了中國(guó)首款車(chē)規(guī)級(jí)AI芯片,憑借30億美金估值成為全球估值最高的AI芯片獨(dú)角獸企業(yè)。然而,隨著企業(yè)逐漸從初創(chuàng)企業(yè)走向成熟,其在數(shù)據(jù)存儲(chǔ)、管理和調(diào)度等方面遇到了一些難題。
其中一個(gè)比較突出的問(wèn)題是數(shù)據(jù)豎井。在發(fā)展初期,往往以項(xiàng)目方式組織資源和部署數(shù)據(jù)結(jié)構(gòu),很多項(xiàng)目各有數(shù)據(jù)集群,形成了一個(gè)個(gè)數(shù)據(jù)豎井,或說(shuō)數(shù)據(jù)孤島。對(duì)于需要“小步快跑”的初創(chuàng)企業(yè)而言,這種方式無(wú)可厚非,但隨著企業(yè)規(guī)模擴(kuò)大,這些相互獨(dú)立的數(shù)據(jù)豎井就會(huì)給數(shù)據(jù)管理帶來(lái)比較大的挑戰(zhàn)。
從更大的層面看,他們也面臨跨多云數(shù)據(jù)調(diào)度的難題。對(duì)于AI企業(yè)而言,提高模型訓(xùn)練效率是至關(guān)重要的,但訓(xùn)練效率的提高不僅僅依賴(lài)于計(jì)算資源,也離不開(kāi)數(shù)據(jù)的及時(shí)調(diào)度。由于GPU資源分布在多個(gè)公有云上和本地,當(dāng)GPU資源不斷變化時(shí),如何讓數(shù)據(jù)也能快速地跟隨變化隨需調(diào)度,也成為企業(yè)在數(shù)據(jù)管理方面的一個(gè)核心需求。
此外,隨著數(shù)據(jù)規(guī)模的快速增長(zhǎng),數(shù)據(jù)管理成本也與日俱增。之前是采用算存一體的方式,計(jì)算和存儲(chǔ)在一個(gè)一體機(jī)上實(shí)現(xiàn),隨著數(shù)據(jù)規(guī)模增長(zhǎng),這種方案不僅會(huì)降低計(jì)算設(shè)備運(yùn)行效率,而且成本也會(huì)高企不下,因此需要性?xún)r(jià)比更高的數(shù)據(jù)存儲(chǔ)方案來(lái)支持企業(yè)的長(zhǎng)遠(yuǎn)發(fā)展。
在醫(yī)療行業(yè),信息化起步較早,在長(zhǎng)期的發(fā)展過(guò)程中,各業(yè)務(wù)系統(tǒng)都針對(duì)初始單個(gè)業(yè)務(wù)模塊的需求陸續(xù)建設(shè)了很多“煙囪工程“。此外,醫(yī)療行業(yè)對(duì)數(shù)據(jù)合規(guī)要求有其特殊性,門(mén)診電子病歷往往需要保留15年以上。數(shù)據(jù)量的增長(zhǎng)使得存儲(chǔ)成本難以控制,同時(shí)管理、擴(kuò)展和維護(hù)數(shù)據(jù)在線(xiàn)訪(fǎng)問(wèn)的復(fù)雜性大大提高。新一代工作負(fù)載,面臨數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)集成、數(shù)據(jù)可訪(fǎng)問(wèn)性、應(yīng)用程序數(shù)據(jù)集成等問(wèn)題,無(wú)法實(shí)現(xiàn)現(xiàn)代化應(yīng)用程序;環(huán)境數(shù)據(jù)分散,存儲(chǔ)在太多不同的地理位置,沒(méi)有數(shù)據(jù)集成,沒(méi)有通用的管理能力,數(shù)據(jù)孤島使得數(shù)據(jù)查詢(xún)和使用異常困難。這就需要一個(gè)企業(yè)級(jí)的、真正的全球共享數(shù)據(jù)湖基礎(chǔ)架構(gòu),更快交付洞察,底層存儲(chǔ)必須同時(shí)支持新時(shí)代的大數(shù)據(jù)和傳統(tǒng)的應(yīng)用,具備安全性、可靠性和高性能。
數(shù)據(jù)管理之六大挑戰(zhàn)
為了應(yīng)對(duì)云計(jì)算、大數(shù)據(jù)分析、人工智能等新一代應(yīng)用,我們的企業(yè)往往在非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)中遇到諸多挑戰(zhàn):
挑戰(zhàn)1:當(dāng)前架構(gòu)無(wú)法應(yīng)對(duì)海量數(shù)據(jù)增長(zhǎng),無(wú)序擴(kuò)展,存在嚴(yán)重的性能瓶頸。傳統(tǒng)的SAN文件系統(tǒng)和NAS文件系統(tǒng),受限于其單個(gè)控制器的性能和元數(shù)據(jù)的處理方式,無(wú)法提供更高性能的IO訪(fǎng)問(wèn),NAS文件系統(tǒng)擴(kuò)展方式是按照SAN或者NAS的控制器擴(kuò)展,控制器之間不能實(shí)現(xiàn)并行IO操作,無(wú)法避免單機(jī)頭帶來(lái)的性能瓶頸,并因?yàn)槲募夸浀拿Q(chēng)改變而導(dǎo)致應(yīng)用重新定義。
挑戰(zhàn)2:數(shù)據(jù)孤島。企業(yè)超過(guò)50%的數(shù)據(jù)存放在離散的存儲(chǔ)系統(tǒng)中,企業(yè)環(huán)境的數(shù)據(jù)分散,存儲(chǔ)在太多不同的地理位置,數(shù)據(jù)孤島使得數(shù)據(jù)查詢(xún)和使用異常困難。數(shù)據(jù)量的增長(zhǎng)使得存儲(chǔ)成本難以控制,同時(shí)管理、擴(kuò)展和維護(hù)數(shù)據(jù)在線(xiàn)訪(fǎng)問(wèn)的復(fù)雜性大大提高。
挑戰(zhàn)3:缺乏企業(yè)級(jí)的統(tǒng)一數(shù)據(jù)管理平臺(tái)。傳統(tǒng)的SAN文件系統(tǒng)和NAS文件系統(tǒng)本身不具備智能的、基于策略自動(dòng)執(zhí)行的生命周期管理,需要借助單獨(dú)的軟件或者硬件實(shí)現(xiàn)數(shù)據(jù)的分層和備份,導(dǎo)致數(shù)據(jù)管理困難。
挑戰(zhàn)4:無(wú)法為未來(lái)前沿技術(shù)提供有效存儲(chǔ)支撐。如云計(jì)算的數(shù)據(jù)需求并行存儲(chǔ)能夠支持多云架構(gòu),統(tǒng)一資源管理,數(shù)據(jù)安全和高可用。人工智能需求海量數(shù)據(jù)集存儲(chǔ),大算力。大數(shù)據(jù)分析業(yè)務(wù)需求高效分析和高可用。
挑戰(zhàn)5:新技術(shù)帶來(lái)的潛在的基礎(chǔ)架構(gòu)“割裂”,沒(méi)有全局的統(tǒng)一命名空間,難以實(shí)現(xiàn)數(shù)據(jù)共享和安全共享。
挑戰(zhàn)6:無(wú)可靠的高可用、完整性。不能統(tǒng)一管理和部署,提升運(yùn)維復(fù)雜度。不能支持存儲(chǔ)異構(gòu),不同NAS機(jī)頭無(wú)法統(tǒng)一存儲(chǔ)空間。故障數(shù)據(jù)重構(gòu)開(kāi)銷(xiāo)大,對(duì)性能影響較大。
高性能ESS給出最優(yōu)解
為了應(yīng)對(duì)以上挑戰(zhàn),IBM最新發(fā)布了基于 Spectrum Scale 的ESS3500,它包括以下特點(diǎn):
1. 極致的性能和可擴(kuò)展性:可以從小規(guī)模開(kāi)始構(gòu)建,然后逐步擴(kuò)展性能和容量,無(wú)任何瓶頸,能夠提供極致的數(shù)據(jù)、元數(shù)據(jù)和閃存可擴(kuò)展性。無(wú)瓶頸的架構(gòu)提高了性能,從而實(shí)現(xiàn)極大的吞吐量和低延遲訪(fǎng)問(wèn)。IBM ESS 3500在每個(gè)單一節(jié)點(diǎn)上提供1PBe,吞吐量高達(dá)91GB/秒。
2. 統(tǒng)一存儲(chǔ),適用于集群、HDFS、文件、對(duì)象與容器環(huán)境。
3. 加速AI訓(xùn)練:配合 NVIDIA DGX 系統(tǒng),AI訓(xùn)練時(shí)間縮短 140%。
4. 統(tǒng)一命名空間。實(shí)現(xiàn)全球協(xié)作:Spectrum Scale 通過(guò)主動(dòng)文件管理分布式磁盤(pán)高速緩存技術(shù),跨不同存儲(chǔ)和位置隨時(shí)隨地訪(fǎng)問(wèn)數(shù)據(jù),在數(shù)據(jù)中心或全球范圍內(nèi)實(shí)現(xiàn)應(yīng)用加速。
5. 數(shù)據(jù)完整性和安全性:認(rèn)證、加密、安全和復(fù)制選項(xiàng),用于滿(mǎn)足業(yè)務(wù)和法規(guī)需求。
最后,我想說(shuō)的是……
各行各業(yè)的數(shù)字化難題不斷涌現(xiàn),IBM伴隨很多客戶(hù),一步步突破最新的AI和云計(jì)算的性能極限,成就了他們的創(chuàng)新和發(fā)展。疫情防控也一樣,不僅需要技術(shù)的支撐,也需要各方的共同努力、每個(gè)人的積極配合,希望世界早日恢復(fù)生機(jī)蓬勃。
原文標(biāo)題:我們期望的 “精準(zhǔn)”,談何容易
文章出處:【微信公眾號(hào):IBM中國(guó)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
-
IBM
+關(guān)注
關(guān)注
3文章
1777瀏覽量
74960 -
數(shù)據(jù)管理
+關(guān)注
關(guān)注
1文章
301瀏覽量
19711 -
數(shù)據(jù)存儲(chǔ)
+關(guān)注
關(guān)注
5文章
987瀏覽量
51195
原文標(biāo)題:我們期望的 “精準(zhǔn)”,談何容易
文章出處:【微信號(hào):IBMGCG,微信公眾號(hào):IBM中國(guó)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
對(duì)象存儲(chǔ)是什么結(jié)構(gòu)類(lèi)型?
彈性云服務(wù)器通過(guò)什么存儲(chǔ)數(shù)據(jù)和文件?
IBM Storage -?支持AI應(yīng)用場(chǎng)景的數(shù)據(jù)存儲(chǔ)軟硬件解決方案

戴爾數(shù)據(jù)湖倉(cāng)助力企業(yè)數(shù)字化轉(zhuǎn)型
AIGC與傳統(tǒng)內(nèi)容生成的區(qū)別 AIGC的優(yōu)勢(shì)和挑戰(zhàn)
結(jié)構(gòu)化布線(xiàn)在AI數(shù)據(jù)中心的關(guān)鍵作用
戴爾升級(jí)非結(jié)構(gòu)化存儲(chǔ)與數(shù)據(jù)管理,AI創(chuàng)新引領(lǐng)新變革
基于分布式對(duì)象存儲(chǔ)WDS的信托非結(jié)構(gòu)化數(shù)據(jù)整合平臺(tái)

評(píng)論