Omniverse Replicator 是一個(gè)構(gòu)建在 NVIDIA Omniverse 平臺(tái)上的高度可擴(kuò)展框架，它支持物理精確的 3D 合成數(shù)據(jù)生成 ，以加快感知網(wǎng)絡(luò)的訓(xùn)練和準(zhǔn)確性。

Omniverse Replicator 現(xiàn)在可以通過(guò) NVIDIA NGC 上托管的容器部署在 云端 中， SaaS 可供應(yīng)用程序早期訪問(wèn)。 Replicator 工具和內(nèi)容套件現(xiàn)在還包括一個(gè)新的 Replicator Insight 應(yīng)用程序，用于增強(qiáng)對(duì)生成數(shù)據(jù)的查看和檢查，以及新的 SimReady 內(nèi)容和即插即用合成數(shù)據(jù)工作流指南。

許多合作伙伴正在其現(xiàn)有工具中集成 Omniverse Replicator ，以擴(kuò)展其合成數(shù)據(jù)工作流。西門子憑借其 SynthAI 軟件、 SmartCow 、 Mirage 和 Lightning AI 率先使用 Omniverse Replicator 加速高質(zhì)量合成數(shù)據(jù)生成。

合成數(shù)據(jù)：從本地到云

對(duì)于希望云部署的靈活性和可擴(kuò)展性的開發(fā)人員和企業(yè)， Omniverse Replicator 現(xiàn)在可以作為 AWS 上的容器部署使用。您可以成為 NGC 的成員，在 Amazon EC2 G5 實(shí)例上訪問(wèn)容器和自助部署，該實(shí)例采用 A10G Tensor Core GPU 。

圖 1.AWS 云架構(gòu)上的 Omniverse Replicator

增強(qiáng)的檢查和查看

生成合成數(shù)據(jù)和改進(jìn)人工智能模型是一個(gè)迭代過(guò)程，需要能夠查看和分析沿途生成的數(shù)據(jù)集。由于數(shù)據(jù)不容易導(dǎo)航，注釋也不容易檢查，所以這個(gè)過(guò)程可能相當(dāng)麻煩。

在 GTC 上，我們發(fā)布了 Omniverse Replicator Insight early access ，這是一個(gè)應(yīng)用程序，可以讓您高效直觀地查看、檢查和分析生成的帶有一系列注釋的數(shù)據(jù)集。 Replicator Insight 允許您逐幀瀏覽來(lái)自不同傳感器的生成數(shù)據(jù)集，選擇要查看的興趣點(diǎn)，并檢查特定對(duì)象的特定注釋。

圖 2. Omniverse Replicator Insight 的用戶界面

在帶有一系列注釋的 Replicator Insight 上，查看、檢查和分析生成的數(shù)據(jù)集是高效而直觀的。它允許您逐幀瀏覽不同傳感器生成的數(shù)據(jù)集。可以選擇感興趣的對(duì)象來(lái)查看和檢查特定對(duì)象的注釋。

Replicator Insight 讓開發(fā)人員和研究人員朝著以數(shù)據(jù)為中心的人工智能培訓(xùn)邁出了一大步，將合成數(shù)據(jù)更無(wú)縫地集成到模型改進(jìn)過(guò)程中。

新 SimReady 資產(chǎn)

Omniverse Replicator SimReady Universal Scene Description （ USD ）資產(chǎn)可幫助您開始生成合成數(shù)據(jù)，以縮小模擬與現(xiàn)實(shí)之間的差距：

高保真 3D 資產(chǎn)可在像素級(jí)別啟動(dòng)合成數(shù)據(jù)生成。

上下文內(nèi)容資產(chǎn)，有助于訓(xùn)練場(chǎng)景中數(shù)據(jù)的多樣性、上下文和行為。

傳送帶、坡道和紙板箱只是 Omniverse Replicator 庫(kù)中可用的 SimReady 資產(chǎn)的幾個(gè)示例。

您可以通過(guò) 下載 Omniverse 訪問(wèn)第一批免費(fèi) SimReady 資產(chǎn)。有關(guān)新資產(chǎn)和其他資源的更多信息，請(qǐng)參閱 New Cloud Applications， SimReady Assets， and Tools for Omniverse Developers Announced at GTC 。

Replicator 正在運(yùn)行

一些合作伙伴正在使用 Omniverse Replicator 來(lái)加速 AI 感知網(wǎng)絡(luò)的培訓(xùn)和性能。它們的應(yīng)用程序跨越端到端合成數(shù)據(jù)生成工作流的每個(gè)階段。憑借 Omniverse Replicator 作為其應(yīng)用程序的基礎(chǔ)平臺(tái)，這些合作伙伴正在幫助客戶增強(qiáng)數(shù)據(jù)集并提高各種行業(yè)用例的 AI 模型的準(zhǔn)確性。

Mirage 正在幫助 ML 工程師了解他們的數(shù)據(jù)集的薄弱環(huán)節(jié)，并集成修復(fù)這些薄弱環(huán)節(jié)的合成數(shù)據(jù)。 Replicator 是 Mirage 客戶生成高保真數(shù)據(jù)以改進(jìn)其 ML 模型的主干。

Lightning AI 允許您構(gòu)建模型并使用或創(chuàng)建 Lightning Apps ：功能強(qiáng)大的端到端機(jī)器學(xué)習(xí)系統(tǒng)，完全可定制。 Omniverse Replicator Lightning 應(yīng)用程序允許您快速生成合成數(shù)據(jù)，以減少與收集和標(biāo)記真實(shí)數(shù)據(jù)相關(guān)的成本和工作量。

圖 3.顯示并行模型訓(xùn)練的 Lightning AI 用戶界面

使用 Lightning AI ，研究人員和開發(fā)人員可以運(yùn)行并行的 AutoML 作業(yè)，找到性能最佳的對(duì)象檢測(cè)模型，并驗(yàn)證真實(shí)世界數(shù)據(jù)的性能，以生成合成數(shù)據(jù)。

SmartCow 利用 Omniverse Replicator 簡(jiǎn)單有效地生成具有變化的合成數(shù)據(jù)。通過(guò) Replicator 添加這些變化使 SmartCow 能夠輕松地不斷提高模型準(zhǔn)確性。 SmartCow 在迭代過(guò)程中使用 Replicator 從數(shù)據(jù)漂移檢測(cè)中生成其他變化，并創(chuàng)建改進(jìn)的模型。

Siemens 正與 NVIDIA 合作，將 Omniverse Replicator 高保真渲染功能和 SDK 引入 SynthAI 的云端。這將確保從產(chǎn)品設(shè)計(jì)和協(xié)作到合成數(shù)據(jù)生成和模型培訓(xùn)的簡(jiǎn)單、簡(jiǎn)化的工作流程，并以成功部署結(jié)束。

關(guān)于作者

Nyla Worker 是 NVIDIA 的解決方案架構(gòu)師，專注于嵌入式設(shè)備的模擬和深入學(xué)習(xí)。她在機(jī)器人和自動(dòng)車輛的深度學(xué)習(xí)邊緣應(yīng)用方面擁有豐富的經(jīng)驗(yàn)，并為嵌入式設(shè)備開發(fā)了加速推理管道。

Bhumin Pathak 是 NVIDIA 合成數(shù)據(jù)生成 SDK （也稱為 Replicator ）的高級(jí)產(chǎn)品經(jīng)理。他喜歡在計(jì)算機(jī)圖形學(xué)、 3D 仿真和機(jī)器學(xué)習(xí)的交叉領(lǐng)域工作。在加入 NVIDIA 之前，他曾在迪士尼擔(dān)任人工智能的應(yīng)用研究員，并在思科和三星擔(dān)任其他各種職務(wù)。

審核編輯：郭婷