5G、IoT、AI等眾多新技術(shù)的涌現(xiàn)，人們的工作和生活都發(fā)生了極大的變化，一個智能數(shù)據(jù)時代正在到來。這不僅進一步凸顯了大數(shù)據(jù)的底座價值，也給數(shù)據(jù)的分析利用帶來了更多的挑戰(zhàn)。

在今日的在華為云TechWave大數(shù)據(jù)專題日上，華為云人工智能領(lǐng)域總裁賈永利解讀了最新的發(fā)展趨勢，分享了FusionInsight智能數(shù)據(jù)湖解決方案等華為云在大數(shù)據(jù)技術(shù)上的實踐與創(chuàng)新，以幫助千行百業(yè)“管好數(shù)據(jù)、用好數(shù)據(jù)”，充分釋放數(shù)據(jù)的價值。

數(shù)據(jù)分析利用面臨多重挑戰(zhàn)

回首從90年代到今天，人類經(jīng)歷了PC時代、互聯(lián)網(wǎng)時代、移動互聯(lián)網(wǎng)時代，隨著不同技術(shù)的演進，數(shù)據(jù)也發(fā)生了巨大的變化。

賈永利解讀說，首先，數(shù)據(jù)的規(guī)模越來越大。近年來，無論是面向ToB領(lǐng)域、還是ToC領(lǐng)域，隨著技術(shù)的發(fā)展、需求的增長，企業(yè)、個人、設(shè)備都在時時刻刻產(chǎn)生數(shù)據(jù)，數(shù)據(jù)的體積越來越大。

同時，數(shù)據(jù)種類越來越多，逐步走向多樣性。除了我們熟悉的結(jié)構(gòu)化數(shù)據(jù)，出現(xiàn)了更多的非結(jié)構(gòu)化數(shù)據(jù)，比如視頻、圖像、語音、文本等，并且這些多樣性的數(shù)據(jù)需要用多樣性的算力去處理，這也給數(shù)據(jù)處理帶來了更加復(fù)雜的挑戰(zhàn)。

第三，應(yīng)用對數(shù)據(jù)處理的時效性要求越來越高。很多場景下，我們需要數(shù)據(jù)進入系統(tǒng)時就可以被查詢、被分析，這個時間差要求越來越短。比如在工業(yè)領(lǐng)域，設(shè)備的持續(xù)數(shù)據(jù)處理要求就非常高；在金融領(lǐng)域，交易信息、風(fēng)控信息對數(shù)據(jù)處理的時延要求亦遠超以往。

最后，對于數(shù)據(jù)融合分析的要求也越來越高。很多場景下，我們希望不止分析當前數(shù)據(jù)，更希望歷史數(shù)據(jù)和實時數(shù)據(jù)進行聯(lián)合分析，隨著分析和交易越發(fā)緊密、融合，分析的結(jié)果、規(guī)則越來越多地被注入到實時交易系統(tǒng)中。

不同行業(yè)的數(shù)據(jù)特點與訴求

在解讀數(shù)據(jù)變化以及隨之而來的挑戰(zhàn)的同時，賈永利亦在發(fā)言中剖析了不同行業(yè)數(shù)據(jù)的特點與他們的訴求。

以運營商為例，隨著5G的到來，產(chǎn)生的數(shù)據(jù)、需要處理的數(shù)據(jù)顯著增加。有預(yù)測認為，5G的到來將帶來至少8倍以上的數(shù)據(jù)體積膨脹，那么就需要很多處理系統(tǒng)，需要從單集群走向多集群——能不能處理好數(shù)據(jù)成為一個首要目標。

從廣大政企行業(yè)來看，越來越多的多樣性數(shù)據(jù)如何統(tǒng)一處理，是否遵循同一套標準、規(guī)范，從而能夠讓整個數(shù)據(jù)在處理過程中可管可控，更高效協(xié)同不同組織、不同廠家進行開發(fā)，也極為關(guān)鍵。而像金融領(lǐng)域、工業(yè)領(lǐng)域?qū)?shù)據(jù)處理的實時性要求極為苛刻，為了避免業(yè)務(wù)中斷過程造成的損失，實時性就成為了核心訴求。

此外，為了高效挖掘數(shù)據(jù)價值，千行百業(yè)的數(shù)據(jù)融合分析已成大勢所趨。是否可以通過一站式的分析平臺，全局使用一份數(shù)據(jù)，從而能夠更全面、精準地進行分析，從海量數(shù)據(jù)中找到客戶真正想要的價值，變得越來越重要。

圍繞數(shù)據(jù)全生命周期提供整體解決方案

為了應(yīng)對企業(yè)面臨的各種挑戰(zhàn)，在數(shù)據(jù)域，華為云提出了FusionInsight智能數(shù)據(jù)湖解決方案，圍繞客戶“采、存、算、管、用”等數(shù)據(jù)全生命周期提供整體解決方案。

從架構(gòu)上來看，華為云FusionInsight智能數(shù)據(jù)湖解決方案是一個開放的架構(gòu)，充分利用了數(shù)據(jù)域的處理能力和云自身的云原生（Cloud-Native）能力進行融合，率先做到了真正的基于云原生存算分離的架構(gòu)和實現(xiàn)，讓數(shù)據(jù)規(guī)模可管理不再是一個難題。

華為云FusionInsight智能數(shù)據(jù)湖方案主要包含MRS大數(shù)據(jù)、GaussDB（DWS）數(shù)據(jù)倉庫、GES圖計算、一站式數(shù)據(jù)運營平臺DAYU等云服務(wù)。其中，華為云FusionInsight MRS大數(shù)據(jù)、GaussDB（DWS）數(shù)據(jù)倉庫，可助力客戶在數(shù)字化轉(zhuǎn)型中構(gòu)建堅實的數(shù)據(jù)底座，并通過HetuEngine數(shù)據(jù)虛擬化引擎簡化用數(shù)，提高效率。

同時，為標準化多樣性數(shù)據(jù)，一站式數(shù)據(jù)運營平臺DAYU向下可接入日志、文本、視頻、音頻、圖片等各類型數(shù)據(jù)，基于多樣性算力與CarbonData實現(xiàn)全局一份數(shù)據(jù)的統(tǒng)一格式存儲；向上為伙伴開發(fā)50+數(shù)據(jù)集成開發(fā)API，使能數(shù)據(jù)，攜手生態(tài)伙伴打造各行業(yè)應(yīng)用。

目前，華為云FusionInsight已廣泛應(yīng)用于政府、金融、運營商、大企業(yè)、互聯(lián)網(wǎng)等行業(yè)，攜手800多家合作伙伴，為全球60多個國家和地區(qū)的3000多家政企客戶提供服務(wù)。

華為云重磅發(fā)布實時數(shù)倉產(chǎn)品

為響應(yīng)政企用戶在IoT和運維監(jiān)控等場景下對數(shù)據(jù)倉庫時效性的需求，華為云發(fā)布了GaussDB（DWS） 實時數(shù)倉新品，引入了HetuEngine和CarbonDate兩個重要引擎，具備快、易、簡、省四大特點。

HetuEngine可以幫助企業(yè)構(gòu)建一個虛擬化數(shù)據(jù)分析引擎，有了這個引擎就可以分析多元、多域更為復(fù)雜場景下的數(shù)據(jù)。CarbonDate可以圍繞數(shù)據(jù)的存儲進行一系列優(yōu)化和數(shù)據(jù)格式組織，從而實現(xiàn)全局一份數(shù)據(jù)、以統(tǒng)一的格式存儲，能夠給北向提供更加豐富的開發(fā)API，使數(shù)據(jù)集成更容易、使用更高效。

在“快”方面，GaussDB（DWS）實時數(shù)倉時序數(shù)據(jù)單機入庫性能支持每秒10萬條數(shù)據(jù)、每秒60萬條流數(shù)據(jù)持續(xù)計算入庫，并可線性擴展。這樣無論在工業(yè)領(lǐng)域、金融領(lǐng)域，抑或物聯(lián)網(wǎng)領(lǐng)域，都可以解決很多目前所無法解決的問題。

在“易”方面，GaussDB（DWS） 實時數(shù)倉支持基于SQL完成復(fù)雜流式計算語義定義，簡化開發(fā)。以Druid監(jiān)控的一個場景為例，僅用150行SQL代碼就實現(xiàn)了原有1900行Druid腳本同樣的功能，實現(xiàn)超過十倍的提升。

在“簡”方面，GaussDB（DWS） 實時數(shù)倉實現(xiàn)了1 = N。在一個平臺內(nèi)，同時實現(xiàn)Flink/Spark Streaming（流數(shù)據(jù)處理）+Druid（流數(shù)據(jù)預(yù)聚合）+InfluxDB（時序數(shù)據(jù)處理），簡化了開發(fā)和運維工作。

在“省”方面，時序數(shù)據(jù)經(jīng)過實時數(shù)倉的自適應(yīng)壓縮算法，最高可達40:1的壓縮比，將多維度行列存儲優(yōu)化，數(shù)據(jù)冷熱溫自動分區(qū)，從而極大地減少存儲空間，節(jié)省用戶成本。

“華為云將圍繞數(shù)據(jù)持續(xù)進行創(chuàng)新，聯(lián)合客戶和合作伙伴，通過更好的技術(shù)，幫助千行百業(yè)真正管好自己的數(shù)據(jù)、用好自己的數(shù)據(jù)，釋放數(shù)據(jù)的價值。”在發(fā)言的最后，賈永利如是說道。

責任編輯：gt