3月1日，【虹科云課堂】數(shù)據(jù)管理與可視化解決方案第一期課程圓滿結(jié)束，感謝大家的觀看與支持。虹小科為大家整理了課后筆記，請查收

導語

虹科云課堂

企業(yè)應(yīng)用程序的運行就像一輛行駛中的汽車，當所有的組件都按照預期的方式工作時，它就會出現(xiàn)速度與性能的完美結(jié)合。如果它其中的一個組件出現(xiàn)故障，應(yīng)用程序的運行就會受到影響，就像汽車突然爆胎或者熄火一樣，業(yè)務(wù)的運行就會不正常。比如說網(wǎng)站無法訪問、服務(wù)器因為負載過高停機了、數(shù)據(jù)分析報告中數(shù)據(jù)集的輸出是錯誤的，可能被人篡改了等等。現(xiàn)如今大多數(shù)企業(yè)使用是不透明的數(shù)據(jù)解決方案，然而缺乏透明度會導致隱藏數(shù)據(jù)問題，并可能影響數(shù)據(jù)質(zhì)量和應(yīng)用程序性能。

那么我們要怎么樣才能保證應(yīng)用程序正常運行呢？當然是在這些問題發(fā)生之前解決問題，也就是需要預測、預防問題的發(fā)生，那么我們應(yīng)該怎么做呢，答案就是使用使用多維的數(shù)據(jù)可觀察性解決方案。

以下是虹科云科技事業(yè)部技術(shù)工程師夏雨的直播報告：《什么是數(shù)據(jù)可觀察性》。

本文圍繞3部分展開

虹科云課堂

1、什么是數(shù)據(jù)可觀察性？

2、企業(yè)為什么需要數(shù)據(jù)可觀察性？

3、虹科數(shù)據(jù)可觀察性方案

01

什么是數(shù)據(jù)可觀察性

虹科云課堂

講概念之前說一下現(xiàn)代數(shù)據(jù)基礎(chǔ)設(shè)施存在的幾個問題，同時也是我們的產(chǎn)品能夠解決的問題，我們知道，所有企業(yè)都面臨著大量與數(shù)據(jù)相關(guān)的問題。一個常見的問題是，好的數(shù)據(jù)可能變成壞的。那是為什么呢？

首先，單個數(shù)據(jù)生態(tài)系統(tǒng)中的數(shù)據(jù)源越來越多。例如，在過去，使用基本的ETL或CDC工具將數(shù)據(jù)從數(shù)據(jù)庫攝取到數(shù)據(jù)倉庫，有時會對數(shù)據(jù)進行轉(zhuǎn)換、清理和質(zhì)量測試。它被存儲并傳輸?shù)揭粋€簡單的應(yīng)用程序，該應(yīng)用程序在數(shù)據(jù)上運行一個例程，以生成一個報告或在儀表板中使用。但是現(xiàn)在，除了數(shù)據(jù)庫之外，數(shù)據(jù)還來自許多其他來源，包括api、文件、社交媒體、日志等，這使得攝取過程更加復雜。更重要的是，更多的數(shù)據(jù)是動態(tài)的。現(xiàn)代應(yīng)用程序可能使用事件數(shù)據(jù)(例如，客戶剛剛進行査詢或開始購買)，而不是使用數(shù)據(jù)庫中未更改的數(shù)據(jù)(例如，客戶的帳戶信息)。這種變化會影響數(shù)據(jù)轉(zhuǎn)換、存儲、交付和使用。并且在過去，沒有一種工具能夠看到數(shù)據(jù)管道的每個步驟，但是這些數(shù)據(jù)來源中的任何一個都可能以意想不到的方式發(fā)生變化，從數(shù)據(jù)創(chuàng)建攝取到最終使用的所有接觸點中，數(shù)據(jù)在其生命周期的不同步驟中被破壞、刪除或誤用的方式有很多。

數(shù)據(jù)質(zhì)量無法保證，那么數(shù)據(jù)團隊就會花大量時間來處理數(shù)據(jù)的問題，而且不良數(shù)據(jù)可能會對公司產(chǎn)生重大的業(yè)務(wù)影響。質(zhì)量差的數(shù)據(jù)通常被認為是運營混亂、分析不準確和商業(yè)戰(zhàn)略構(gòu)思不周的根源。數(shù)據(jù)質(zhì)量問題可能導致的經(jīng)濟損失示例包括產(chǎn)品運送到錯誤的客戶地址時增加的費用、由于錯誤或不完整的客戶記錄而失去銷售機會，以及因財務(wù)或監(jiān)管合規(guī)報告不當而被罰款。

其次，因為數(shù)據(jù)需要經(jīng)過復雜的轉(zhuǎn)換之后才能被處理，你正在從數(shù)百（或數(shù)千）個數(shù)據(jù)源中獲取數(shù)據(jù)，這些數(shù)據(jù)源可能有也可能沒有 API，所有數(shù)據(jù)源都具有不同的數(shù)據(jù)模型，而且一個源系統(tǒng)中產(chǎn)生的數(shù)據(jù)可能為多個數(shù)據(jù)管道提供數(shù)據(jù)，而這些管道可能為其他管道或依賴其輸出的應(yīng)用程序提供數(shù)據(jù)。當數(shù)據(jù)從一個流程流向另一個流程時，它會不斷地被轉(zhuǎn)換、構(gòu)建和聚合，以保證數(shù)據(jù)可用。還有系統(tǒng)使用的每種工具可能具有不同的格式來讀取和解釋數(shù)據(jù)。不同的工具也可能具有不同的字段值名稱或期望日志數(shù)據(jù)按特定順序排列等等。更糟糕的是，如果這些格式發(fā)生根本性的變化，那么就會導致下游失敗，如果代碼繼續(xù)運行，可能產(chǎn)生不正確的結(jié)果，或者發(fā)生崩潰。這種崩潰通常會對下游系統(tǒng)產(chǎn)生級聯(lián)效應(yīng)，或者說多米諾骨牌效應(yīng)，它們會一個接著一個出現(xiàn)問題。

第三個問題是隨著企業(yè)轉(zhuǎn)型為數(shù)據(jù)驅(qū)動的數(shù)字企業(yè)，低質(zhì)量和不可靠數(shù)據(jù)的成本將飆升。數(shù)據(jù)將被要求支持更多的商業(yè)模式、內(nèi)部流程，并將推動關(guān)鍵的商業(yè)決策。因此，對數(shù)據(jù)的訪問至關(guān)重要，確保數(shù)據(jù)的可靠性成為絕對關(guān)鍵的任務(wù)。傳統(tǒng)觀點認為，數(shù)據(jù)質(zhì)量監(jiān)控工具是解決方案。所以，市場上充斥著這些解決方案。然而，隨著向分布式、以云為中心的數(shù)據(jù)基礎(chǔ)設(shè)施的轉(zhuǎn)變，數(shù)據(jù)質(zhì)量監(jiān)控工具迅速過時。它們是為前一代應(yīng)用程序環(huán)境而設(shè)計的，無法擴展，管理起來太費力，在診斷和修復數(shù)據(jù)質(zhì)量問題的根本原因方面太慢，也不可能去預測未發(fā)生的問題。在缺乏主動確保數(shù)據(jù)可靠性的工具的情況下，隨著數(shù)據(jù)的供應(yīng)，不良數(shù)據(jù)和不可靠數(shù)據(jù)的事件增加。數(shù)據(jù)質(zhì)量監(jiān)控工具及其被動、手動和幾十年不變的數(shù)據(jù)質(zhì)量方法無法應(yīng)對當今數(shù)據(jù)高度分布、快速移動甚至變化更快的環(huán)境。他們讓數(shù)據(jù)工程師和其他數(shù)據(jù)運營團隊成員忙于日常排除故障，遭受應(yīng)接不暇的告警，無法滿足他們的 SLA。數(shù)據(jù)質(zhì)量和數(shù)據(jù)性能都受到影響，而數(shù)據(jù)成本則會失控。那么這個問題的解決方案是數(shù)據(jù)可觀察性，它采用全新的主動方法來解決數(shù)據(jù)質(zhì)量問題，遠遠超出簡單的數(shù)據(jù)監(jiān)控和警報，降低確保數(shù)據(jù)可靠性的復雜性和成本。換句話說，它是對數(shù)據(jù)復雜性問題的系統(tǒng)解決方案。它跨應(yīng)用程序、數(shù)據(jù)和基礎(chǔ)架構(gòu)層監(jiān)控和關(guān)聯(lián)數(shù)據(jù)工作負載事件，以解決生產(chǎn)分析和 AI 工作負載中的問題。

最后一個就是數(shù)據(jù)管道日益復雜，數(shù)據(jù)的供應(yīng)和需求激增，數(shù)據(jù)處理的多個階段以及不同數(shù)據(jù)資產(chǎn)之間可能存在不可見的依賴關(guān)系，使數(shù)據(jù)管道變得非常復雜，用于移動數(shù)據(jù)的技術(shù)變得更加復雜，導致團隊無法了解數(shù)據(jù)的處理方式。除此此外，每增加一層復雜性，數(shù)據(jù)停機時間就會成倍增加，數(shù)據(jù)停機時間是指你的數(shù)據(jù)不完整、錯誤、丟失或以其他方式不準確的時間段。隨著數(shù)據(jù)的移動，錯誤會不斷累積，而團隊最終往往會得到不可靠的數(shù)據(jù)。數(shù)據(jù)停機導致的后果是不可估計的，會導致公司生產(chǎn)力下降，客戶體驗感不佳，并且存在嚴重的合規(guī)性、財務(wù)和運營影響，可能會讓數(shù)據(jù)領(lǐng)導者措手不及，從而影響團隊的投資回報率和公司的底線。

處理數(shù)據(jù)停機事件不僅浪費寶貴的時間，而且使團隊遠離創(chuàng)收項目。數(shù)據(jù)工程團隊沒有在構(gòu)建可以為客戶增加實質(zhì)性價值的新產(chǎn)品和服務(wù)上取得進展，而是花時間調(diào)試和修復數(shù)據(jù)問題。對造成這些問題的原因缺乏了解只會讓事情變得更糟。

剛剛提到數(shù)據(jù)管道，這邊介紹一下，數(shù)據(jù)管道是從原始數(shù)據(jù)到目的地(通常是數(shù)據(jù)湖或倉庫)的過程。在整個過程中，將轉(zhuǎn)換邏輯應(yīng)用于數(shù)據(jù)，以便為分析做好準備，而在目的地，將對數(shù)據(jù)進行分析，以獲得可操作的見解。最常見的數(shù)據(jù)管道形式采用批處理或?qū)崟r處理。

這里有一張數(shù)據(jù)管道的圖片可以看看，架構(gòu)師和數(shù)據(jù)工程師現(xiàn)在使用大量的工具來構(gòu)建數(shù)據(jù)管道：提取、加載和轉(zhuǎn)換(ELT-Extract, Load, Transform)工具、應(yīng)用程序編程接口(api)和事件流系統(tǒng)，如Apache Kafka。它們從應(yīng)用程序、IT日志和物聯(lián)網(wǎng)傳感器或數(shù)據(jù)庫中獲取數(shù)據(jù)，通常為結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化和原始的數(shù)據(jù)。他們將首先收集這些數(shù)據(jù)，然后進行轉(zhuǎn)換、數(shù)據(jù)清洗，然后通過腳本把它存儲在數(shù)據(jù)倉庫、數(shù)據(jù)湖、NoSQL，甚至流媒體平臺中。這些數(shù)據(jù)也可能最后會被生成分析報告或者機器學習的模型或者把它進行可視化展示到頁面上等等，這一系列的操作流程下來，就比較復雜了。而且你不能保證這一系列的流程其中的操作都是正確的，因為可能數(shù)據(jù)之間存在著一些我們不可見的依賴關(guān)系，假如流程其中一個地方搞錯了，或者其中一個數(shù)據(jù)不可靠，數(shù)據(jù)質(zhì)量出現(xiàn)問題，那么這個數(shù)據(jù)管道中的數(shù)據(jù)流就會受到影響，業(yè)務(wù)的運行可能就會不正常。

現(xiàn)在，數(shù)據(jù)管道與 Spark 和 Kubernetes 等復雜工具結(jié)合運行，允許數(shù)據(jù)團隊在其數(shù)據(jù)堆棧的每一層選擇最佳平臺，但所有這些引擎的組合使得難以了解不同部分的管道。此外，如果數(shù)據(jù)管道的一部分發(fā)生在黑匣子中，你知道輸入什么，知道輸出什么，但你不知道中間會發(fā)生什么。

數(shù)據(jù)運營（DataOps）工程師依靠標準工具來深入了解數(shù)據(jù)系統(tǒng)，但他們往往無法獲得數(shù)據(jù)的業(yè)務(wù)上下文。由于了缺失的上下文，所以他們無法得到關(guān)于數(shù)據(jù)質(zhì)量問題和潛在原因的足夠信息。而且有研究表明，數(shù)據(jù)團隊將 40% 以上的時間花在數(shù)據(jù)質(zhì)量問題上，而不是致力于為企業(yè)創(chuàng)造價值的活動。收集和分析數(shù)據(jù)的目的是創(chuàng)造商業(yè)價值，但沒有管道可見性，錯誤就會累積，商業(yè)價值就會被破壞。

那么應(yīng)該如何提高數(shù)據(jù)準確性并防止管道中斷呢，解決以上問題的方法就是數(shù)據(jù)可觀察性，它是一種用于數(shù)據(jù)操作的方法和解決方案。指對數(shù)據(jù)、事件進行觀察、監(jiān)控、跟蹤和分類以防止數(shù)據(jù)停機的方法。

企業(yè)應(yīng)用程序的可觀察性越高，就越容易確定影響它的任何問題的根本原因。隨著問題的確定和修復，應(yīng)用程序變得更加可靠和高效，數(shù)據(jù)系統(tǒng)也會越穩(wěn)定。

數(shù)據(jù)可觀察性的工作原理是在數(shù)據(jù)流經(jīng)復雜的數(shù)據(jù)管道時監(jiān)控數(shù)據(jù)、數(shù)據(jù)流程和數(shù)據(jù)源，在數(shù)據(jù)流入系統(tǒng)之前，數(shù)據(jù)團隊會定義在數(shù)據(jù)、管道和基礎(chǔ)設(shè)施層面觀察指標。當數(shù)據(jù)流經(jīng)管道時，數(shù)據(jù)可觀察性使用機器學習、高級分析和人工智能來監(jiān)測和關(guān)聯(lián)所有層的成千上萬的事件。它將數(shù)據(jù)和數(shù)據(jù)系統(tǒng)的當前狀態(tài)與期望狀態(tài)進行比較。當沒有達到理想狀態(tài)時，數(shù)據(jù)可觀察性技術(shù)會提供反饋，因此和數(shù)據(jù)團隊可以重新獲得系統(tǒng)控制權(quán)，以確保及時提供可信的數(shù)據(jù)，滿足業(yè)務(wù)需求。

那么有沒有數(shù)據(jù)可觀察性到底有什么區(qū)別呢，打一個簡單的比方，比如古代寄信的過程，你把信寄出去，可能他收到了信，然而你并不知道這個信它是怎么送到的，這個過程你是不可見的，就相當于沒有數(shù)據(jù)可觀察性以前，數(shù)據(jù)的傳輸過程像在黑匣子里一樣不能被看到，但是現(xiàn)在你在網(wǎng)上買東西寄東西都是快遞的，你可以在手機上看到這個快遞的路線，經(jīng)過了哪里，有沒有順利到達目的地。那么現(xiàn)在的數(shù)據(jù)可觀察性和這個也是一樣的，可以理解為數(shù)據(jù)可觀察性提供數(shù)據(jù)管道中端到端的可見性，你可以跟蹤事件，讓你看見數(shù)據(jù)從應(yīng)用程序、服務(wù)器、數(shù)據(jù)庫經(jīng)過一些復雜的流程到數(shù)據(jù)湖、存儲的過程，工具結(jié)合技術(shù)可以讓我們能夠近乎實時地識別、排除故障和解決數(shù)據(jù)問題。

那么一個好的數(shù)據(jù)可觀察性工具應(yīng)該是怎么樣的呢？它應(yīng)該滿足這三個層面的需求，這三層分別代表了數(shù)據(jù)可觀察性能給不同職位的人提供的需求。首先是基礎(chǔ)設(shè)施層，對于平臺工程師、DevOps工程師和現(xiàn)場可靠性工程師來說，數(shù)據(jù)可觀察性工具可以讓他們看到基礎(chǔ)設(shè)施的可用性，比如CPU、內(nèi)存、存儲利用率，然后可以進行性能分析，對系統(tǒng)進行負載均衡處理，提高生產(chǎn)效率。其次是數(shù)據(jù)層，數(shù)據(jù)架構(gòu)師和數(shù)據(jù)工程師監(jiān)控需要監(jiān)控數(shù)據(jù)庫和網(wǎng)絡(luò)應(yīng)用程序；比如Apache Spark和Apache Kafka，因為它們?yōu)楝F(xiàn)代數(shù)據(jù)和分析管道提供動力，可觀察性工具就是可以幫助他們快速發(fā)現(xiàn)和解決問題。然后是應(yīng)用程序?qū)右部梢哉f是業(yè)務(wù)層，BI分析師、數(shù)據(jù)科學家和業(yè)務(wù)經(jīng)理需要理解性能問題的根源，傳統(tǒng)的應(yīng)用程序性能監(jiān)控(APM)工具可以識別應(yīng)用程序問題，但它們不能回答與數(shù)據(jù)相關(guān)的問題，但是數(shù)據(jù)可觀察性工具就可以解決與數(shù)據(jù)有關(guān)的問題。這三層的數(shù)據(jù)它都可以進行監(jiān)控。

接下來看一下數(shù)據(jù)可觀察性的構(gòu)成，為了保證數(shù)據(jù)可觀察性工具是有效的，它需要具有以下功能特性：

首先是監(jiān)控， 它需要提供管道或系統(tǒng)操作視圖的儀表板，就是提供一個UI界面控制臺讓你能掌握數(shù)據(jù)動態(tài)。

然后第二個是警報，當你的應(yīng)用程序運行不穩(wěn)定、服務(wù)器負載過高或者出現(xiàn)其他故障或異常時，它會通過一些方式去給你告警。能夠讓你及時處理，當然，它也能根據(jù)你這個警報的級別去通知，級別比較低的問題它會自動幫你處理。

第三個是跟蹤，你可以設(shè)置和跟蹤特定的事件，它就會被標記，然后你就能看它的運行流程。跟蹤顯示了應(yīng)用程序的不同部分如何執(zhí)行它們的工作。跟蹤還顯示可能發(fā)生潛在問題的位置。

第四個是比較，就是說它會比較這個應(yīng)用程序或者這個業(yè)務(wù)它運行的周期，隨著時間的推移進行監(jiān)控比較，顯示出它的一個變化趨勢，如果今天的時間比昨天多4倍，那可能你的系統(tǒng)哪里出現(xiàn)問題，那么它就發(fā)送異常警報，并且?guī)湍泐A測問題可能會出現(xiàn)在哪里。

第五個是分析，它會自適應(yīng)企業(yè)的數(shù)據(jù)管道，和數(shù)據(jù)健康狀況進行自動檢查，它有自己的一些規(guī)則去判斷數(shù)據(jù)質(zhì)量，你也可以設(shè)定自定義的規(guī)則去判斷數(shù)據(jù)是否正確。

然后是日志記錄，一個優(yōu)秀的日志事件可以讓我們排除問題變得事半功倍，數(shù)據(jù)可觀察性平臺會以標準化的格式記錄事件，以后萬一系統(tǒng)出現(xiàn)什么故障，你可以查看日志文件以便更快解決問題。

最后是SLA跟蹤，它可以根據(jù)你預定義的標準去衡量數(shù)據(jù)質(zhì)量和管道元數(shù)據(jù)，就會比較方便我們判斷這個服務(wù)是否達到SLA級別標準。

這個圖片很形象的展示應(yīng)用性能監(jiān)測（APM）與數(shù)據(jù)可觀察性的區(qū)別。APM就像他的名字一樣只限于監(jiān)控應(yīng)用程序?qū)樱鴶?shù)據(jù)可觀察性將監(jiān)控功能一直延伸到數(shù)據(jù)和基礎(chǔ)設(shè)施層。

數(shù)據(jù)可觀察性可以通過預測、識別、確定問題處理的優(yōu)先級并幫助解決數(shù)據(jù)質(zhì)量問題來減少數(shù)據(jù)停機時間。并且它可以改進對數(shù)據(jù)管道的控制，創(chuàng)建更好的 SLA，并為數(shù)據(jù)團隊提供了預測建議，這些建議可用于做出更好的數(shù)據(jù)驅(qū)動業(yè)務(wù)決策。數(shù)據(jù)可觀察性解決方案在兩個方面提供了優(yōu)于 APM 工具的明顯優(yōu)勢：

首先它有更好的數(shù)據(jù)層可觀察性，可以讓數(shù)據(jù)運營（DataOps）團隊可以更好地控制數(shù)據(jù)管道。

其次是它有改進的基礎(chǔ)設(shè)施層可觀察性，可以讓信息技術(shù)運營（ITOps ）團隊可以更好地控制基礎(chǔ)設(shè)施資源。

企業(yè)為什么需要數(shù)據(jù)可觀察性

虹科云課堂

02

對于基礎(chǔ)設(shè)施層，數(shù)據(jù)可觀察性工具可以幫助DevOps工程師進行性能管理、基礎(chǔ)設(shè)施精簡和容量規(guī)劃。借助高端數(shù)據(jù)可觀察性平臺，ITOps （信息技術(shù)運營）團隊可以在 APM 無法提供的粒度級別上監(jiān)控關(guān)鍵基礎(chǔ)設(shè)施層指標，例如內(nèi)存可用性、CPU 存儲消耗和集群節(jié)點狀態(tài)，因此數(shù)據(jù)可觀察性工具可以比任何其他類型的解決方案更快地排除故障并解決數(shù)據(jù)擁塞和中斷問題。同時也可以通過查看生成的數(shù)據(jù)，優(yōu)化基礎(chǔ)設(shè)施，幫助你降低基礎(chǔ)設(shè)施成本。例如，通過識別瓶頸來減少過度配置或提高效率和吞吐量。

對于數(shù)據(jù)層，數(shù)據(jù)可觀察性可幫助數(shù)據(jù)團隊管理管道性能和數(shù)據(jù)質(zhì)量，并隨著時間的推移提高體系結(jié)構(gòu)效率和有效性。DataOps （數(shù)據(jù)運營）團隊可以通過自動檢查數(shù)據(jù)傳輸?shù)臏蚀_性、完整性和一致性來確保高質(zhì)量的數(shù)據(jù)標準。這些質(zhì)量檢查將構(gòu)建更健康的數(shù)據(jù)管道。數(shù)據(jù)工程師可以自動收集數(shù)千個管道事件，將它們關(guān)聯(lián)起來，識別異常或峰值，并使用這些信息來預測、預防、排除故障和修復問題。

對于應(yīng)用程序?qū)樱?span style="color:rgb(196,0,0);">業(yè)務(wù)負責人可以與 BI 分析師合作，創(chuàng)建準確的容量估計以及滿足業(yè)務(wù)目標需求的更明智的 SLA（服務(wù)級別協(xié)議），提高最終用戶滿意度：通過減少發(fā)現(xiàn)問題的時間、改進的應(yīng)用程序正常運行時間和性能，將減少客戶流失、提高回報率，同時也可以做成本效益分析和戰(zhàn)略決策。

03

虹科數(shù)據(jù)可觀察性解決方案

虹科云課堂

接下來介紹一下我們虹科的數(shù)據(jù)可觀察性解決方案，它是一個由三部分產(chǎn)品組成的集成套件，為當今復雜的數(shù)據(jù)操作提供全面的可見性、控制和優(yōu)化功能。作為中立的多平臺數(shù)據(jù)可觀察性解決方案，我們的方案可以使數(shù)據(jù)運營團隊能夠從單個控制臺有效地管理其整個數(shù)據(jù)基礎(chǔ)架構(gòu)，最大限度地提高數(shù)據(jù)工程團隊的生產(chǎn)力，以及數(shù)據(jù)模型和分析應(yīng)用程序的性能和正常運行時間。其機器學習功能可幫助企業(yè)預測和預防其數(shù)據(jù)管道的潛在問題，最大限度地減少停機時間并使其能夠滿足其 SLA/SLO。

解決方案包括三個產(chǎn)品：Pulse、Torch、Flow。Pulse 用于監(jiān)控實時計算性能和基礎(chǔ)設(shè)施使用情況，而 Torch和Flow 通過幫助可視化數(shù)據(jù)管道來提供數(shù)據(jù)可靠性和質(zhì)量。我們的產(chǎn)品了提供數(shù)據(jù)可觀察性的企業(yè)解決方案。

pulse是一個數(shù)據(jù)可觀察性工具，用來監(jiān)控數(shù)據(jù)處理性能，預防問題發(fā)生，擴展規(guī)模，優(yōu)化資源；為混合數(shù)據(jù)環(huán)境和由多種技術(shù)組成的管道提供全面的可見性。它觀察混合數(shù)據(jù)環(huán)境，優(yōu)化數(shù)據(jù)系統(tǒng)的可靠性、性能和成本。它的關(guān)鍵詞是基礎(chǔ)設(shè)施、服務(wù)、日志、指標和警報。

Torch在數(shù)據(jù)層進行數(shù)據(jù)管理，保證數(shù)據(jù)可靠性，發(fā)現(xiàn)數(shù)據(jù)及優(yōu)化數(shù)據(jù)。通過數(shù)據(jù)管道觀察數(shù)據(jù)流，優(yōu)化數(shù)據(jù)的可靠性、質(zhì)量和使用，它的關(guān)鍵詞是機器學習模型、算法、數(shù)據(jù)質(zhì)量、可靠性、SQL 等等。

Flow在業(yè)務(wù)層提供數(shù)據(jù)管道可視化，可以用來做進程管理、成本效益分析、決策設(shè)計等。它的關(guān)鍵詞是管道、ETL 管道、計算、成本、SLA 等內(nèi)容。

最后我們看一下產(chǎn)品的應(yīng)用案例，Phonepe是沃爾瑪旗下一家大型的移動支付公司，相當于印度的支付寶，它的用戶是全印度3.5億多消費者。Phonepe使用各種開源數(shù)據(jù)技術(shù)去讓數(shù)以億計的用戶去實現(xiàn)實時支付和現(xiàn)金轉(zhuǎn)移，使用的技術(shù)比如HBase、HDFS、Kfaka、Spark等等，但是當計算量達到一定級別或并發(fā)數(shù)達到一定級別后，這種架構(gòu)的 CPU與磁盤子系統(tǒng)會容易出現(xiàn)瓶頸，它的基礎(chǔ)設(shè)施的性能無法跟上快速擴展的業(yè)務(wù)需求，用戶體驗就是用這個軟件會很卡，甚至無法使用，那么我們的產(chǎn)品是怎么樣解決這些問題的呢？

我們的產(chǎn)品為 phonepe的 Hbase、Hive和 Spark數(shù)據(jù)管道帯來了實時可視性，使 phonepe的工程師能夠從單個應(yīng)用程序監(jiān)控其整個數(shù)據(jù)基礎(chǔ)架構(gòu)。 phonepe的數(shù)據(jù)可靠性團隊能夠使用 Pulse來監(jiān)控其現(xiàn)代數(shù)據(jù)基礎(chǔ)設(shè)施的性能，以便能夠輕松區(qū)分基礎(chǔ)設(shè)施問題造成的變化。通過提高性能密集型數(shù)據(jù)工作負載計算性能的可視性， phonepe顯著提高了可靠性。最終這個公司己經(jīng)能夠?qū)⑵鋽?shù)據(jù)基礎(chǔ)設(shè)施順利増長20倍，從70個節(jié)點増加到2000多個節(jié)點，同時在其 Hadoop數(shù)據(jù)池中保持99.9%的可用性。Phonepe將企業(yè)數(shù)據(jù)倉庫處理時間從11.5小時縮短到6.5小時，還消除了計劃外停機，并實現(xiàn)了99%以上的報告自動化。幫助這個公司降低數(shù)據(jù)倉庫的成本，節(jié)省軟件許可證費用等等。可以說我們的產(chǎn)品效果顯著，立竿見影。

云科技事業(yè)部

虹科電子

虹科在工業(yè)、制造業(yè)領(lǐng)域深耕了長達20年，隨著云技術(shù)的全面發(fā)展和數(shù)字化工廠的逐步落地，虹科參與了越來越多的云主題的業(yè)務(wù)，從最初的所有數(shù)據(jù)先統(tǒng)一采集上云，到后續(xù)的邊緣計算再上云，到現(xiàn)在的全面業(yè)務(wù)優(yōu)化、洞察研究、成本優(yōu)化等，虹科的云科技事業(yè)部已經(jīng)為行業(yè)的用戶實操并積累了豐富的解決方案和應(yīng)用場景。它們包括：資源監(jiān)控、安全保障、多云的互聯(lián)互通、應(yīng)用和數(shù)據(jù)牽引等。虹科云科技團隊在不斷順應(yīng)國家策略，從技術(shù)創(chuàng)新、標準制定、豐富生態(tài)、安全保障、節(jié)能減排等五個方面，不斷創(chuàng)造出更好的產(chǎn)品，幫助工業(yè)制造業(yè)的用戶實現(xiàn)數(shù)字化轉(zhuǎn)型、實現(xiàn)基于數(shù)據(jù)的降本增效。

虹科云科技工程師團隊不斷參與美國和歐洲產(chǎn)業(yè)內(nèi)先進的專家培訓，學習和實踐創(chuàng)新的技術(shù)手段、操作性強的應(yīng)用案例，并不斷引入到國內(nèi)的項目中完成落地和推廣，這讓我們團隊充滿了自豪感與使命感，賦予了我們當今時代極大的技術(shù)價值、工作成就感。