本文的主要內(nèi)容：

邊緣計(jì)算為實(shí)時(shí)數(shù)據(jù)分析和建模提供了新的機(jī)會(huì)。

但是，物聯(lián)網(wǎng)邊緣數(shù)據(jù)模型需要較少的整體方法來(lái)進(jìn)行數(shù)據(jù)湖和建模。

數(shù)據(jù)分析師需要新的技能，以便能夠在邊緣和云中正確分類(lèi)/提取和管理這些數(shù)據(jù)。

企業(yè)渴望使用物聯(lián)網(wǎng)數(shù)據(jù)來(lái)了解成本、運(yùn)營(yíng)及其未來(lái)前景。

移動(dòng)設(shè)備和物聯(lián)網(wǎng)設(shè)備（IoT）生成的數(shù)據(jù)使組織能夠降低成本，提高運(yùn)營(yíng)效率并進(jìn)行創(chuàng)新。但是，只有組織可以在適當(dāng)?shù)臅r(shí)候從數(shù)據(jù)中獲取意義。

反過(guò)來(lái)，為數(shù)據(jù)提供含義和背景將使數(shù)據(jù)分析人員負(fù)責(zé)構(gòu)建可以傳遞有意義的數(shù)據(jù)模型。此外，這些數(shù)據(jù)量很大，并且來(lái)自許多不同的位置，而且速度極快。

除了諸如數(shù)據(jù)湖之類(lèi)的整體數(shù)據(jù)存儲(chǔ)之外，數(shù)據(jù)分析師還應(yīng)設(shè)計(jì)邊緣數(shù)據(jù)存儲(chǔ)，以提高速度和實(shí)時(shí)洞察力，從而為每個(gè)業(yè)務(wù)部門(mén)和目的解決眾多問(wèn)題。

Zhamak Dehghani在一篇關(guān)于從集中式數(shù)據(jù)湖中獲取實(shí)時(shí)數(shù)據(jù)的文章中寫(xiě)道：“不是將數(shù)據(jù)從域流到中央擁有的數(shù)據(jù)湖或平臺(tái)，而是需要以一種易于使用的方式托管和服務(wù)其域數(shù)據(jù)集。”

在邊緣上尤其如此，即使設(shè)備數(shù)量激增，計(jì)算處理資源也可能非常寶貴。通過(guò)邊緣計(jì)算，數(shù)據(jù)算法可以在本地服務(wù)器或網(wǎng)關(guān)上甚至在設(shè)備本身上運(yùn)行，從而實(shí)現(xiàn)對(duì)企業(yè)至關(guān)重要的更高效的實(shí)時(shí)應(yīng)用。

機(jī)器學(xué)習(xí)平臺(tái)Splunk的創(chuàng)新和數(shù)字生態(tài)系統(tǒng)高級(jí)主管Lerry Wilson說(shuō)：“邊緣將計(jì)算能力放在行動(dòng)發(fā)生的地方。”

國(guó)際數(shù)據(jù)公司（IDC）的一項(xiàng)新預(yù)測(cè)估計(jì)，到2025年，將有416億個(gè)IoT設(shè)備或“物”產(chǎn)生79.4 ZB的數(shù)據(jù)。這些數(shù)據(jù)還需要從無(wú)數(shù)的設(shè)備和業(yè)務(wù)部門(mén)獲取，通常是孤立的和格式不同，這會(huì)增加額外的復(fù)雜性。

Wilson說(shuō)：“這些組織內(nèi)部的復(fù)雜性已經(jīng)超出了僅保持這些設(shè)備正常運(yùn)行的能力。” “您必須能夠看到設(shè)備如何與設(shè)備交互。 “從安全的角度來(lái)看，這絕對(duì)至關(guān)重要，但從運(yùn)營(yíng)和業(yè)務(wù)角度來(lái)看也是如此。”

數(shù)據(jù)量和速度

從業(yè)人員強(qiáng)調(diào)，要有效地將邊緣計(jì)算用于快速數(shù)據(jù)處理，就需要采用不同的方法來(lái)進(jìn)行數(shù)據(jù)建模和提取。數(shù)據(jù)分析人員需要考慮如何使用數(shù)據(jù)以及可以容許多少延遲以及其安全性和存儲(chǔ)要求。

這將需要一種混合的方式來(lái)處理數(shù)據(jù)，并需要新的邊緣數(shù)據(jù)模型來(lái)支持速度，而不是總體的整體數(shù)據(jù)模型。

Peak Technologies的首席工程師Dan Sullivan說(shuō)：“從數(shù)十萬(wàn)個(gè)傳感器中獲取原始數(shù)據(jù)，然后在其中進(jìn)行最少的處理，然后將其余數(shù)據(jù)發(fā)送到一個(gè)集中的位置-這種方法將變得越來(lái)越流行。”

因此，例如，如果物聯(lián)網(wǎng)數(shù)據(jù)可用于檢測(cè)關(guān)鍵業(yè)務(wù)異常，則可能需要立即處理該數(shù)據(jù)。但是，隨著時(shí)間的推移，環(huán)境數(shù)據(jù)可能并不重要，可以發(fā)送到云或本地?cái)?shù)據(jù)中心進(jìn)行進(jìn)一步處理。

同時(shí)，盡管決策者希望這些數(shù)據(jù)隨時(shí)可用，但快速的數(shù)據(jù)準(zhǔn)備和清理可能會(huì)妨礙快速的數(shù)據(jù)處理。

實(shí)際上，根據(jù)TMMData和Digital Analytics Association（數(shù)字分析協(xié)會(huì)）進(jìn)行的一項(xiàng)調(diào)查，近40％的數(shù)據(jù)專(zhuān)業(yè)人員每周花費(fèi)20多個(gè)小時(shí)來(lái)訪問(wèn)、混合和準(zhǔn)備數(shù)據(jù)，而不是進(jìn)行實(shí)際分析。

物聯(lián)網(wǎng)數(shù)據(jù)仍然需要進(jìn)行這種準(zhǔn)備，但分析人士表示，現(xiàn)在最好嘗試先創(chuàng)建較少的整體模型，而這些模型需要大量的邏輯數(shù)據(jù)連接。目標(biāo)是快速攝取數(shù)據(jù)，然后以目標(biāo)方式查詢(xún)數(shù)據(jù)。

“除了找出一個(gè)復(fù)雜的解決方案，我們還有兩個(gè)簡(jiǎn)單的解決方案-而不是一個(gè)整體解決方案。當(dāng)問(wèn)題完全不同時(shí)，您不會(huì)嘗試使用一種數(shù)據(jù)模型來(lái)回答所有問(wèn)題。由于數(shù)據(jù)太多，您希望快速定位數(shù)據(jù)的子集。”

Sullivan指出，某些數(shù)據(jù)也可能會(huì)發(fā)送到云中以進(jìn)行機(jī)器學(xué)習(xí)和算法訓(xùn)練。這些數(shù)據(jù)可能不需要這么低的延遲或快速的周轉(zhuǎn)時(shí)間。

“從機(jī)器學(xué)習(xí)的角度來(lái)看，原始數(shù)據(jù)很重要，” Sullivan說(shuō)。 “它沒(méi)有像異常檢測(cè)數(shù)據(jù)那樣的延遲要求。您可以分類(lèi)這些數(shù)據(jù)以進(jìn)行機(jī)器學(xué)習(xí)，然后將其緩慢加載到云對(duì)象存儲(chǔ)中。”

這種新的數(shù)據(jù)建模方法呼應(yīng)了有關(guān)IoT數(shù)據(jù)管理的論文，聲稱(chēng)IoT數(shù)據(jù)模型需要更靈活以適應(yīng)實(shí)時(shí)數(shù)據(jù)管理和大量數(shù)據(jù)。

“盡管已經(jīng)證明并行關(guān)系［數(shù)據(jù)庫(kù)管理系統(tǒng)（DBMS）］優(yōu)于非結(jié)構(gòu)化DBMS范式，但從關(guān)系模型轉(zhuǎn)向支持更靈活的數(shù)據(jù)庫(kù)結(jié)構(gòu)的數(shù)據(jù)庫(kù)模型正變得越來(lái)越受歡迎。”

物聯(lián)網(wǎng)數(shù)據(jù)管理技能仍然是一個(gè)障礙

專(zhuān)家們同意，關(guān)于數(shù)據(jù)去向以及如何最大程度地利用數(shù)據(jù)的這類(lèi)決策需要獨(dú)特的技能。

Rashi Deshai在一篇有關(guān)數(shù)據(jù)科學(xué)家的最高技能的文章中寫(xiě)道：“數(shù)據(jù)科學(xué)家是……全才型的大師。” “他們必須了解數(shù)學(xué)、統(tǒng)計(jì)學(xué)、編程、數(shù)據(jù)管理（和）可視化……80％的工作用于準(zhǔn)備數(shù)據(jù)以在行業(yè)環(huán)境中進(jìn)行處理。”隨著數(shù)據(jù)量持續(xù)爆炸，數(shù)據(jù)管理已成為數(shù)據(jù)科學(xué)家的一項(xiàng)技能。

但是，組織內(nèi)部可能缺少這些技能。他們要么需要通過(guò)額外的教育和培訓(xùn)來(lái)培養(yǎng)這些技能，要么應(yīng)征募第三方合作伙伴關(guān)系。

Sullivan說(shuō)：“這種舉動(dòng)將伴隨著人們。” “只有很少的人了解如何大規(guī)模處理數(shù)據(jù)。在本地進(jìn)行此操作很昂貴，但需要大量的工程經(jīng)驗(yàn)。需要能夠編寫(xiě)數(shù)據(jù)工程管道的人員來(lái)從中提取價(jià)值。”

正如另一個(gè)數(shù)據(jù)管理所指出的那樣，這需要萬(wàn)事通技能集。

數(shù)據(jù)反映了IT數(shù)據(jù)管理中長(zhǎng)期存在的技能短缺。

根據(jù)IoT World Today的2020年8月IoT采用調(diào)查，缺乏內(nèi)部技能會(huì)阻礙IoT項(xiàng)目：27％的受訪者表示，他們?nèi)狈?zhuān)業(yè)知識(shí)正在阻礙IoT部署。

Splunk的Wilson表示，運(yùn)營(yíng)部門(mén)和信息技術(shù)部門(mén)之間的孤島也是一個(gè)障礙，但是OT開(kāi)始在邊緣看到自動(dòng)化和機(jī)器學(xué)習(xí)的優(yōu)點(diǎn)。

Wilson說(shuō)：“人們開(kāi)始為實(shí)時(shí)機(jī)器學(xué)習(xí)部署工具和過(guò)程。” “他們正在擁抱這個(gè)概念，以及為實(shí)現(xiàn)這一目標(biāo)而開(kāi)展的工作。”
責(zé)任編輯：tzh