NVIDIA 研究人員在當地時間本周二 SIGGRAPH 的 Real-Time Live 活動中,現場演示了如何使用NVIDIA Edify(一種適用于視覺生成式 AI 的多模態架構)在幾分鐘內即可創建出一個細節考究的 3D 沙漠景觀。
作為本屆 SIGGRAPH 圖形大會備受矚目的會議之一,NVIDIA 研究人員展示了他們在 AI 智能體的支持下,僅用五分鐘不到的時間,就能夠從頭開始創建和編輯出沙漠景觀?,F場 demo 充分展現了生成式 AI 如何通過加快構思速度和生成原本需要從資源庫中獲取的自定義輔助資產,以成為藝術家的得力助手。
通過大幅縮短構思時間,這些 AI 技術將提高 3D 藝術家的生產力和創造力,為他們提供更快探索概念和加快部分工作流所需的工具。例如,他們可以在幾分鐘內生成場景所需的背景資產或 360 HDRi 環境,再也不需要在尋找或創建它們這件事上花費數小時了。
將創意變成 3D 場景只需三分鐘
創建一個完整的 3D 場景是一項復雜且耗時的任務。為了創建出一個豐富的場景,藝術家必須使用大量背景物體襯托他們的主要素材,然后還要找到合適的背景和環境貼圖來模擬光照效果。由于時間有限,他們往往不得不在快速產出結果和探索各種創意之間做出權衡。
在 AI 智能體的支持下,創意團隊就能“兩者兼得”——既能快速將概念轉化為現實,又能通過不斷迭代獲得合適的外觀。
在這場 Real-Time Live 活動的 demo 演示中,研究人員使用文本提示指導 NVIDIA Edify 驅動的模型,來生成數十種 3D 資源,包括仙人掌、巖石、公牛頭骨等,而且只需要幾秒鐘就能生成預覽。
接下來,他們還指示智能體利用其他模型創建可能需要使用的背景和物體如何放置在場景中的布局,并且通過快速將巖石轉換成金塊展示了智能體如何適應創意指示最后一刻的變化。
在有了設計方案之后,他們利用智能體創建全質量資源,并在NVIDIA Omniverse USD Composer(一個用于創建虛擬世界的應用程序)中將場景渲染成逼真的圖像。
NVIDIA Edify 加速環境生成
NVIDIA Edify 模型可以在幫助創作者專注于主要素材的同時,使用 AI 驅動的場景生成工具加速背景環境和物體的創建。該 Real-Time Live 活動的 demo 演示了兩個 Edify 模型:
Edify 3D可根據文本或圖像提示生成可直接編輯的 3D 網格。該模型只需要幾秒鐘就能生成預覽,包括各個物體的旋轉動畫。這將幫助創作者在確定具體設計之前快速創建出原型。
Edify 360 HDRi可根據文本或圖像提示生成最高分辨率為16K 的自然景觀高動態范圍圖像(HDRi),這些圖像可以用作背景和為場景模擬光照效果。
在 demo 過程中,研究人員還展示了一個由大語言模型驅動的 AI 智能體,以及一個使用 3D 工作流平臺 OpenUSD 生成場景布局的 AI 模型 USD Layout。
NVIDIA 還在 SIGGRAPH 上宣布,兩家領先的創意內容公司正在為設計師和藝術家提供一種通過生成式 AI 大幅提升生產力的新方法——使用 NVIDIA Edify 驅動的工具。
Shutterstock 推出了其 3D 生成服務的商業測試版。通過該服務,創作者可根據文本或圖像提示快速創建原型并生成 3D 資產。該公司基于 Edify 的 360 HDRi 生成器也已進入早期體驗階段。
Getty Images 使用最新版本的 NVIDIA Edify 更新了其 Generative AI by Getty Images 服務,不但使用戶創建圖像的速度加快了一倍,而且還提高了輸出質量和提示依從性,并支持高級控制和微調。
充分利用通用場景描述
使用 Edify 模型生成的 3D 物體、環境貼圖和布局均采用 USD 這一用于描述和組成 3D 世界的標準格式。憑借這一兼容性,藝術家能夠直接將 Edify 驅動的創作導入 Omniverse USD Composer。
在 Composer 中,他們可以使用流行的數字內容創建工具進一步修改場景,例如改變物體的位置、修改物體的外觀、調整光照效果模擬等。
審核編輯:彭菁
-
3D
+關注
關注
9文章
2910瀏覽量
107779 -
NVIDIA
+關注
關注
14文章
5072瀏覽量
103516 -
AI
+關注
關注
87文章
31463瀏覽量
269859 -
模型
+關注
關注
1文章
3296瀏覽量
49042
原文標題:SIGGRAPH 2024 | NVIDIA 研究人員利用實時生成式 AI 創建身臨其境的沙漠世界
文章出處:【微信號:NVIDIA_China,微信公眾號:NVIDIA英偉達】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論