分析是一個(gè)非常通用的術(shù)語(yǔ)，用于關(guān)聯(lián)和消化原始數(shù)據(jù)以產(chǎn)生更有用的結(jié)果。分析算法可以像數(shù)據(jù)縮減或傳感器讀數(shù)流的平均一樣簡(jiǎn)單，也可以像最復(fù)雜的人工智能或機(jī)器學(xué)習(xí) (AI/ML) 系統(tǒng)一樣復(fù)雜。如今，分析通常在云中執(zhí)行，因?yàn)樗亲罹呖蓴U(kuò)展性和成本效益的解決方案。然而，在未來(lái)，分析將越來(lái)越多地分布在云、邊緣計(jì)算和端點(diǎn)設(shè)備上，以利用它們改進(jìn)的延遲、網(wǎng)絡(luò)帶寬、安全性和可靠性。在這里，我們將討論一些與傳統(tǒng)云邊界之外的分布式分析相關(guān)的架構(gòu)和權(quán)衡。

分布式分析如何增加價(jià)值

簡(jiǎn)單的分析涉及數(shù)據(jù)縮減、關(guān)聯(lián)和平均，從而導(dǎo)致輸出數(shù)據(jù)流比輸入數(shù)據(jù)小得多。考慮為大型建筑物供應(yīng)淡水的系統(tǒng)。了解系統(tǒng)中各個(gè)點(diǎn)的壓力和流量以優(yōu)化泵和監(jiān)控消耗可能很有價(jià)值。這可能涉及分布在分配管道周?chē)囊幌盗袎毫土髁總鞲衅鳌＼浖?huì)定期詢問(wèn)傳感器，調(diào)整泵設(shè)置，并為建筑經(jīng)理創(chuàng)建消耗報(bào)告。但是，傳感器的原始讀數(shù)可能會(huì)產(chǎn)生誤導(dǎo)——例如，沖洗固定裝置時(shí)的瞬間壓力下降。分析算法可以對(duì)給定傳感器隨時(shí)間的讀數(shù)進(jìn)行平均，并組合和關(guān)聯(lián)來(lái)自多個(gè)傳感器的讀數(shù)，以創(chuàng)建更準(zhǔn)確和有用的管道狀況圖。所有這些讀數(shù)都可以發(fā)送到基于云的分析，但如果傳感器自己進(jìn)行一些平均，而本地邊緣計(jì)算機(jī)進(jìn)行關(guān)聯(lián)和報(bào)告，這將是一個(gè)更高效的架構(gòu)。這就是分布式分析，它可以提高許多分析系統(tǒng)的效率、準(zhǔn)確性和成本。

當(dāng)采用 AI/ML 技術(shù)時(shí)，分析變得更加復(fù)雜。AI/ML 通常分兩個(gè)階段運(yùn)行：

模型構(gòu)建階段，其中大量數(shù)據(jù)被提煉為 AI/ML 系統(tǒng)生成模型

推理階段，該模型通常實(shí)時(shí)應(yīng)用于系統(tǒng)中的數(shù)據(jù)流以生成所需的結(jié)果

在今天的系統(tǒng)中，模型幾乎總是建立在大型服務(wù)器群或云端，通常作為離線過(guò)程。然后，將生成的 AI/ML 模型打包并運(yùn)送到不同的系統(tǒng)，這些系統(tǒng)在實(shí)時(shí)數(shù)據(jù)上運(yùn)行模型的推理階段，從而生成所需的結(jié)果。推理階段可以在云端運(yùn)行，但最近一直在向邊緣移動(dòng)，以改善延遲、網(wǎng)絡(luò)帶寬、可靠性和安全性。在決定為每個(gè)階段使用哪個(gè)級(jí)別的計(jì)算資源時(shí)，權(quán)衡是值得考慮的。

AI/ML 的推理階段

AI/ML 的推理階段相對(duì)容易分布在多個(gè)對(duì)等級(jí)處理器或處理層的上下層次結(jié)構(gòu)中。如果模型是預(yù)先計(jì)算的，則 AI/ML 算法運(yùn)行的數(shù)據(jù)可以跨多個(gè)處理器拆分并并行運(yùn)行。在多個(gè)對(duì)等級(jí)處理器之間拆分工作負(fù)載可提供容量、性能和規(guī)模優(yōu)勢(shì)，因?yàn)殡S著工作負(fù)載的增加，可以使用更多的計(jì)算資源。它還可以提高系統(tǒng)可靠性，因?yàn)槿绻粋€(gè)處理器出現(xiàn)故障，相鄰的處理器仍然可以完成工作。推理也可以在層次結(jié)構(gòu)的多個(gè)級(jí)別之間進(jìn)行拆分，也許算法的不同部分在處理器的不同級(jí)別上運(yùn)行。這允許以邏輯方式拆分 AI/ML 算法，允許層次結(jié)構(gòu)的每個(gè)級(jí)別執(zhí)行算法的最有效子集。例如，在視頻分析 AI/ML 系統(tǒng)中，攝像頭中的智能可以執(zhí)行自適應(yīng)對(duì)比度增強(qiáng)，將此數(shù)據(jù)交給邊緣計(jì)算機(jī)執(zhí)行特征提取，將其發(fā)送到附近的數(shù)據(jù)中心執(zhí)行對(duì)象識(shí)別，最后發(fā)送到云端可以執(zhí)行高級(jí)功能，例如威脅檢測(cè)或熱圖生成。這可以是高效的分區(qū)。最后，云可以執(zhí)行高級(jí)功能，例如威脅檢測(cè)或熱圖生成。這可以是高效的分區(qū)。最后，云可以執(zhí)行高級(jí)功能，例如威脅檢測(cè)或熱圖生成。這可以是高效的分區(qū)。

AI/ML 算法的學(xué)習(xí)階段

AI/ML 算法的學(xué)習(xí)階段更難分配。問(wèn)題是上下文大小。為了準(zhǔn)備模型，AI/ML 系統(tǒng)獲取大量訓(xùn)練數(shù)據(jù)，并使用各種復(fù)雜的學(xué)習(xí)階段算法對(duì)其進(jìn)行消化，以生成在推理階段相對(duì)容易執(zhí)行的模型。如果在給定的計(jì)算節(jié)點(diǎn)上只有一部分訓(xùn)練數(shù)據(jù)可用，則算法將難以泛化模型。這就是為什么訓(xùn)練最常在云端進(jìn)行，那里的內(nèi)存和存儲(chǔ)空間幾乎是無(wú)限的。然而，某些場(chǎng)景要求訓(xùn)練算法分布在多個(gè)對(duì)等級(jí)計(jì)算節(jié)點(diǎn)或云到邊緣層次結(jié)構(gòu)的上下。特別是，邊緣學(xué)習(xí)使學(xué)習(xí)過(guò)程能夠從附近的傳感器收集大量訓(xùn)練數(shù)據(jù)，并在沒(méi)有云參與的情況下對(duì)其采取行動(dòng)——這可以改善延遲、可靠性、安全性和網(wǎng)絡(luò)帶寬。先進(jìn)的分布式學(xué)習(xí)算法正在開(kāi)發(fā)中以應(yīng)對(duì)這些挑戰(zhàn)。

結(jié)論

AI/ML 是幾乎所有電子系統(tǒng)的重要未來(lái)能力。了解如何在計(jì)算資源層次結(jié)構(gòu)中劃分這些系統(tǒng)的推理和訓(xùn)練能力的選項(xiàng)是我們未來(lái)成功的關(guān)鍵。

該博客由 Charles Byers 撰寫(xiě)，最初于 2020 年發(fā)布。貿(mào)澤于 2021 年 6 月更新了該博客。

“ 后退

分享2

CHARLES C. BYERS 是工業(yè)互聯(lián)網(wǎng)聯(lián)盟的副首席技術(shù)官，現(xiàn)在加入了 OpenFog。他致力于邊緣霧計(jì)算系統(tǒng)、通用平臺(tái)、媒體處理系統(tǒng)和物聯(lián)網(wǎng)的架構(gòu)和實(shí)施。此前，他是思科的首席工程師和平臺(tái)架構(gòu)師，以及阿爾卡特朗訊的貝爾實(shí)驗(yàn)室研究員。在電信網(wǎng)絡(luò)行業(yè)的三十年中，他在語(yǔ)音交換、寬帶接入、融合網(wǎng)絡(luò)、VoIP、多媒體、視頻、模塊化平臺(tái)、邊緣霧計(jì)算和物聯(lián)網(wǎng)等領(lǐng)域做出了重大貢獻(xiàn)。他還是多個(gè)標(biāo)準(zhǔn)機(jī)構(gòu)的領(lǐng)導(dǎo)者，包括擔(dān)任工業(yè)互聯(lián)網(wǎng)聯(lián)盟和 OpenFog 聯(lián)盟的首席技術(shù)官，并且是 PICMG 的 AdvancedTCA、AdvancedMC、

Byers 先生在威斯康星大學(xué)麥迪遜分校獲得電氣和計(jì)算機(jī)工程學(xué)士學(xué)位以及電氣工程碩士學(xué)位。在業(yè)余時(shí)間，他喜歡旅行、烹飪、騎自行車(chē)和在他的工作室里修修補(bǔ)補(bǔ)。他擁有 80 多項(xiàng)美國(guó)專利。

審核編輯黃昊宇