欢迎来到云栖网

免费注册

NVIDIA Instant NeRF 赢得 SIGGRAPH 最佳论文,在成千上万的下载中激发创意热潮

云栖网 2022-08-11 12:02 来源:云栖网

NVIDIA Instant NeRF 赢得 SIGGRAPH 最佳论文,在成千上万的下载中激发创意热潮

云栖网3D 内容创作者纷纷开始使用逆向渲染工具NVIDIA Instant NeRF,它能够将静态图像变成逼真的 3D 场景。

自今年早些时候首次发布以来,全球已有数万名开发者下载了Instant NeRF 的源代码,使用它渲染出美轮美奂的场景,并在社交媒体上分享精彩的作品。

Instant NeRF 的学术研究于 8 月 8 日至 11 日在温哥华和线上举行的 SIGGRAPH 上凭借其对计算机图形研究的未来发展所做出的贡献而被评为最佳论文,据悉今年仅有五篇论文入选该奖项,这篇论文也是NVIDIA 著作者在本次大会上发表的 17 篇论文和研讨会论文之一,这些论文涵盖了神经渲染、3D 模拟、全息技术等主题。

NVIDIA 最近举行了一次Instant NeRF 抽奖活动,开发者在分享用该软件创建的3D 场景后就有机会赢得高端NVIDIA GPU。数百人参与了这项活动,发布的3D 场景作品包括巨石阵等地标性建筑、自家后院,甚至宠物。

以下是几位使用Instant NeRF 的创作者:

镜花水月:KARen X. Cheng 和James Perlman

来自旧金山的创意总监KARen X. Cheng与软件工程师James Perlman 合作渲染3D 场景,以测试Instant NeRF 的创作极限。

两人已经使用Instant NeRF 创造了探索镜中反射(如上图所示)和处理多人复杂环境(比如一群人在餐厅里享用拉面)的场景。

NVIDIA Instant NeRF 赢得 SIGGRAPH 最佳论文,在成千上万的下载中激发创意热潮

Perlman 表示:“该算法本身就是开创性的。能够以比普通摄影测量技术更高的保真度渲染物理场景已经十分令人震惊,更不用说还能以如此高的精度再现照明、色差等其他细枝末节。”

Cheng 表示:“它甚至让错误看起来都很艺术。我们太喜欢这一点了,有时我们会减少场景的训练次数,尝试1000 次、5000 次或50000 次迭代。有时候我更喜欢那些训练次数少的场景,因为它们的边缘会更加柔和,就好像油画一般。”

如果使用之前的工具,需要三到四天才能训练出一个“质量不错的场景”。有了Instant NeRF,他们每天可以完成大约20 个场景,他们使用NVIDIA RTX A6000 GPU来渲染、训练和预览其3D 场景。

快速渲染带来更快的迭代速度。

Cheng表示:“快速渲染对整个创作过程非常重要。我们会一起拍摄 15或 20个不同的版本,整夜运行,然后查看哪些版本可行。只有当在一天内能够运行多个场景时,我们发表的所有作品才能被反复拍摄。”

留下瞬间:Hugues Bruyère

蒙特利尔创意工作室 Dpt.的合伙人兼创新主管 Hugues Bruyère 每天都在使用 Instant NeRF。

他表示:“3D捕捉对我来说越来越有吸引力,我可以用它来重构和移动立体图形,赋予它们更加丰富的意义。”

Bruyère 使用其之前为传统摄影测量所采集的数据在Instant NeRF 中渲染3D场景,传统摄影测量主要依赖于无反数码相机、智能手机、360 摄像机和无人机拍摄的照片。他还使用NVIDIA GeForce RTX 3090 GPU 渲染Instant NeRF 场景。

Bruyère 认为 Instant NeRF可以用来保护和分享在线图书馆、博物馆、虚拟现实体验和文物保护项目中的文化艺术品。

他表示:“随着相机和软件解决方案变得越来越便宜,拍摄本身也走向大众化。在几个月或几年内,人们将能够捕捉物体、地点、时刻和记忆,并以可分享和永久保存的形式对它们进行实时立体渲染。”

借助智能手机拍摄的照片,Bruyère 为多伦多皇家安大略博物馆展览中的古代大理石宙斯雕像创建了 Instant NeRF 渲染。

Zeus 视频:https://vimeo.com/733819797/1f77b83a60

步入遥远的场景:Jonathan Stephens

空间计算公司EveryPoint 首席布道官Jonathan Stephens一直在探索Instant NeRF 的创作和实际应用。

EveryPoint重建了堆场、铁路站场、采石场等 3D 场景来帮助企业管理资源。通过 Instant NeRF,Stephens可以更加完整地捕捉场景并让客户自由探索场景。他还借助 NVIDIA RTX 3080 GPU运行使用 Instant NeRF渲染过的场景。

采石场视频:https://youtu.be/dAEyHZIzjrM

Stephens 表示: “我最喜欢Instant NeRF 的一点是它让我能够迅速知道渲染是否有效。以前,大型摄影测量集可能要等上几个小时或几天才能知道结果。现在我可以测试出一堆不同的数据集并在几分钟内得到答案。”

他还尝试使用智能眼镜等轻型设备拍摄的画面制作 NeRF。InstantNeRF可以将 Stephens走在街上拍摄的低分辨率、抖动的画面转换成流畅的 3D场景。

Ray-Ban 视频:https://vimeo.com/734873689

SIGGRAPH上关注NVIDIA

请在太平洋时间8 月10 日周三零点收看NVIDIA 首席执行官黄仁勋和其他高级领导者的特别演讲,了解AI 驱动的虚拟世界背后的研究和技术。

NVIDIA 还将举办多场面向 SIGGRAPH参与者的线下和线上分会,包括:

●用于构建虚拟世界的通用场景描述(USD):下一步发展

●光线追综VR中的实时协作

●对话研究者:如何在您的3D深度学习工作流程中使用NVIDIA Kaolin

●扩展现实的未来:沉浸式体验如何改变一切

在“NVIDIA Instant NeRF——神经辐射场入门”实践演示中了解如何使用 Instant NeRF 进行创作。 Instant NeRF 还将出现在 SIGGRAPH 的“实时现场” 展示活动中,现场参加者可以投票评选出获胜的项目。

在其他互动分会中,NVIDIA 深度学习培训中心将为现场参与者免费提供NVIDIA Omniverse 和其他3D 图形技术的实践培训。

在北京时间8 月11 日凌晨1 点首映的纪录片《合作的艺术:NVIDIA、Omniverse和GTC》中一窥NVIDIA GTC 的幕后故事,了解NVIDIA 的创意、工程和研究团队如何实现最新GTC 主题演讲中的视觉效果。

关于 NVIDIA

自1993 年成立以来,NVIDIA(NASDAQ: NVDA) 一直是加速计算领域的先驱。NVIDIA 1999 年发明的GPU 驱动了PC 游戏市场的增长,并重新定义了现代计算机图形,开启了现代AI 时代。NVIDIA 现在是一家全栈计算公司,其数据中心规模的产品正在重塑整个行业。