智能空間是最豐富的邊緣人工智能用例之一。從智能零售店到自主工廠，企業(yè)很快就能看到這項創(chuàng)新技術的價值。然而，構(gòu)建和擴展智能空間需要許多不同的技術，包括多種應用。在邊緣位置操作多個應用程序可能很復雜。

為此，組織可能會向某個位置添加新硬件，以便每個應用程序都有專用的計算資源，但與購買和安裝每個新應用程序的新硬件相關的成本可能會很高。許多組織在同一設備上部署多個應用程序。

雖然這是一種規(guī)模解決方案，但它可能會帶來不同的挑戰(zhàn)。

許多組織依靠 GPU 的性能來支持邊緣應用程序。即使使用高性能 GPU 加速系統(tǒng)，使用時間切片在同一設備上同時運行兩個或多個 AI 應用程序也不可避免地會導致更高的延遲，而硬件優(yōu)化最少。

當多個應用程序在同一設備上運行時，設備將應用程序時間切片到隊列中，以便應用程序按順序運行，而不是并發(fā)運行。當設備從一個應用程序的處理數(shù)據(jù)切換到另一個應用程序時，結(jié)果總是有延遲。每個部署的延遲量不同，但可能高達 8 毫秒。這可能會嚴重影響為高速操作提供動力的應用，例如制造生產(chǎn)線。

由于應用程序是按順序運行的， GPU 僅在每個應用程序運行時根據(jù)需要使用。例如，如果有三個應用程序在 GPU 上順序運行，并且每個應用程序需要 60% 的 GPU 資源，那么在任何給定時間，使用的 GPU 都不到 60% 。在每次上下文切換期間， GPU 利用率將為 0% 。

有幾種方法可以避免時間分割，更好地利用 GPU 資源。

NVIDIA 多實例 GPU

NVIDIA 多實例 GPU （ MIG ） 是一種功能，使您能夠?qū)?GPU 劃分為多個實例，每個實例都有自己的計算核心，從而實現(xiàn) GPU 的全部計算能力。 MIG 通過隔離應用程序并為每個應用程序分配資源，緩解了應用程序爭奪資源的問題。 MIG 還允許更好的資源優(yōu)化和低延遲。

通過提供多達七個不同的分區(qū)，您可以支持從最小到最大的每個工作負載，并提供有效操作每個已部署應用程序所需的確切計算能力。

除了性能之外， MIG 還為每個實例的計算、內(nèi)存和緩存分配了一組硬件資源，從而增加了安全性和彈性。 MIG 為工作負載提供故障隔離，其中一個實例中運行的應用程序引起的故障不會影響其他實例上運行的應用程序。如果一個工作負載失敗，所有其他工作負載將繼續(xù)不間斷地運行，因為實例和工作負載并行運行，同時保持獨立和隔離。

MIG 同樣適用于容器或虛擬機（ VM ）。當使用虛擬機時，使用 NVIDIA vGPU 可以很容易地虛擬化 GPU ，可以將其配置為使用時間切片或 MIG 。

MIG 用于邊緣 AI

在部署邊緣人工智能時，優(yōu)化成本、功率和空間都是重要的考慮因素，特別是如果您想要復制到數(shù)千個邊緣節(jié)點。通過允許組織在同一 GPU 上運行多個應用程序， MIG 消除了為每個工作負載安裝專用 GPU 的需要，顯著降低了資源需求。

除了資源優(yōu)化之外， MIG 還有助于確保可預測的應用程序性能。如果沒有 MIG ，在同一 GPU 上運行的不同作業(yè)（如不同的 AI 推斷請求）會爭奪相同的資源，如內(nèi)存和帶寬。由于時間切片中固有的資源競爭，一個應用程序的性能可能會受到另一個應用程序中活動的影響。對于邊緣人工智能環(huán)境，不可預測的性能可能會產(chǎn)生嚴重后果。

例如，監(jiān)控生產(chǎn)線以檢測產(chǎn)品缺陷的計算機視覺應用程序必須能夠即時對其動態(tài)環(huán)境作出反應。它必須能夠快速檢查產(chǎn)品，并且在出現(xiàn)缺陷產(chǎn)品的情況下，能夠與其他機器通信以停止生產(chǎn)線。為了安全和效率，組織必須知道，為其生產(chǎn)線供電的人工智能應用程序一直在正確且可預測地運行。

使用不同資源同時運行的作業(yè)具有可預測的性能、服務質(zhì)量和最大 GPU 利用率，使 MIG 成為每個邊緣部署的重要補充。

圖 1 。每個 MIG 實例可以處理一個獨立的工作負載，優(yōu)化需要同時操作多個用例的環(huán)境

MIG on NVIDIA Fleet Command

Fleet Command 是一種云服務，集中連接邊緣位置的系統(tǒng)，從一個儀表板安全部署、管理和擴展人工智能應用程序。專門為邊緣人工智能構(gòu)建， Fleet Command 是跨數(shù)百甚至數(shù)千臺設備編排人工智能的最佳方式。

通過 Fleet Command 云平臺，管理員可以完全控制 MIG 進行邊緣人工智能部署，只需最少的配置。在 Fleet Command 上使用 MIG 只需點擊幾下，您就可以跨數(shù)百甚至數(shù)千個設備做出資源利用率決策。您可以輕松地添加新的 MIG 分區(qū)，縮小現(xiàn)有分區(qū)，并創(chuàng)建自定義部署，所有這些都可以從一個儀表板上完成。

Fleet Command 和 MIG 的結(jié)合為組織提供了完全控制邊緣人工智能部署所需的所有功能，從而提高了工作負載的利用率和效率。

關于作者

Troy Estes 是 NVIDIA Edge 和企業(yè)計算解決方案的產(chǎn)品營銷經(jīng)理。在加入 Edge & Enterprise 業(yè)務部門之前，特洛伊曾在自主汽車業(yè)務部門和 NVIDIA 電網(wǎng)產(chǎn)品集團從事營銷活動和支持產(chǎn)品 GTM 。

審核編輯：郭婷