零AI含量！纯随机数学无限生成传神3D世界火了，普林斯顿华人一作｜CVPR‘23

wankknd · 发表于 2023-6-21 13:53:12

丰色发自凹非寺
量子位 | 公众号 QbitAI

谁说生成图像、视频必然要靠AI？
普林斯顿大学新出的神器，可无限生成传神3D世界，出格强调“No AI”。

浅浅感到感染一下这个效果：

不要以为生成的只是一段视频，其实背后是一套完整的3D资产，基于建模软件Blender打造。
此时所有blender用户一起跟我：啊？

如此一来，我们就能用参数来控制细节：

或者拿到相应的光流图、3D场景光流图、深度图、全景分割图等等，轻松hold住各种CV任务。

最最重要的是，它还免费、开源！
妈妈真的再也不用担忧我找不到高质量的3D数据投喂AI了……

完整视频感到感染一下震撼：

https://www.zhihu.com/video/1654162117451358208
100%基于随机数学的3D数据生成器

尽管AI成长迅猛，但目前CV范围的许多任务仍然缺乏高质量的数据，3D尤甚。
一个解决法子是用合成数据。事实证明，在这类数据上训练的模型在零样本的真实图像上也可以表示得很好。
但问题是，现有的大大都免费3D合成数据东西基本局限于单一场景：要么是自动驾驶相关，要么就是那种位于室内环境中的人造物体。
因此，为了扩大覆盖范围，尤其是真实世界里的自然场景，作者基于Blender打造了这个基于随机数学法则无限生成各种场景的Infinigen。

Infinigen主要操作Blender的“基元”（或原语），设计了一个法式法则库，通过编码完成真实自然场景各个对象的生成。
论文主要介绍了Infinigen的法式体系，包罗：

Node Transpiler（节点转换器），可以自动将Blender节点图转化为Python代码，便利非法式员用户使用Infinigen。

如下图所示，它生成的代码更通用，既允许我们随机化输入参数，也允许随机化图布局。

Generator Subsystems（生成器子系统），Infinigen的生成器是是一个个基于概率的法式，每个法式专门用于生成一个子对象（比如山脉或鱼类）。每个对象都有一组高级参数（比如山的总高度），用户可以使用Python API来调整这些参数，以实现对数据生成的细粒度控制。
Material Generators（材料生成器），一共有50个，每个都由一个能指定颜色和反射率的随机着色器和一个生成相应精细几何细节的局部几何生成器组成。

如下图由所示，它能保证非常真实的几何细节。

Terrain Generators（地形生成器），如下图所示，该生成器可以通过反复挤压生成巨石，使用Blender的内置插件生成小石块。

并辅佐Infinigen通过使用FLIP模拟动力学流体，使用Blender的粒子系统模拟天气。

Plants & Underwater Object Generators（植物和水下物体发生器），包罗使用用随机游走等算法对树木发展进行建模，从而形成一个覆盖各种树木、灌木甚至仙人掌的3D世界。

又或者是使用差异化发展、拉普拉斯发展和反映扩散制造各种珊瑚、使用几何节点图生成树叶、花朵、海藻、海带、软体动物和水母。
还有各种子生成器（比如生物生成器）就纷歧一介绍了。

除了这些，Infinigen还包罗一个图像衬着与Ground Truth提取法式，主要用于生成下图这些类型的图像。
此中对于前者，系统使用了Blender基于自然规律的路径跟踪衬着器Cycles来衬着图像。

作者介绍，虽然使用Blender开发了Infinigen的法式法则，不外法式生成的很大一部门是在Blender之外完成的。
此外，他们也暗示，构建Infinigen是一项极大量的软件工程，光是它代码库的主分支就囊括了40485行代码。
最后，Infinigen在2个Intel Xeon Silver 4114 @ 2.20GHz CPU和1个NVidia GPU长进行了基准测试，生成一对1080p图像的时间（wall time）为3.5小时。
下表是它与现有合成数据集或生成器的斗劲。

作者暗示，从中可以看出，Infinigen最大的长处就是不需要任何外部参考资源库就能法式化地生成无限的自然3D数据，此外都不行。
团队介绍

Infinigen将在本周三的CVPR会议长进行Poster展示。
它的作者全部来自普林斯顿大学Vision & Learning Lab。
三位共同一作，此中一位叫Ma Zeyu，普林斯顿大学博士三年级在读，2020年本科毕业于清华大学电子工程专业。
通讯作者为普林斯顿大学计算机科学系副传授邓嘉。

目前，Infinigen的代码已经上线GitHub，短短两天已有850个标星。

论文地址：
https://arxiv.org/abs/2306.09310
项目主页：
https://infinigen.org/
GitHub地址：
https://github.com/princeton-vl/infinigen
—完—
@量子位 · 追踪AI技术和产物新动态
深有感到的伴侣，欢迎附和、存眷、分享三连վ'ᴗ' ի ❤

琪姐 · 发表于 2023-6-21 13:53:46

开源的话这东西多大啊，电脑里装了blender但是没用过几次，好奇这个要求怎么样

鄙视cola · 发表于 2023-6-21 13:54:39

高级MC

钠元素 · 发表于 2023-6-21 13:54:58

花了3.5小时生成了两张图片？？

刘伟怡 · 发表于 2023-6-21 13:55:51

3d不行的，最大的麻烦就是渲染时间太久

借甜 · 发表于 2023-6-21 13:56:25

这就是开源的力量[赞同]

东源计生局 · 发表于 2023-6-21 13:56:57

其实还是AI，也要拟合参数

日出东方0year · 发表于 2023-6-21 13:57:08

不满意可以不用.

北寸国四 · 发表于 2023-6-21 13:57:36

哪里提到要“拟合参数”了？

狮灰灰 · 发表于 2023-6-21 13:57:46

怎么搭建硬件要求[拜托]

		自动登录	找回密码
密码			立即注册

零AI含量！纯随机数学无限生成传神3D世界火了，普林斯顿华人一作｜CVPR‘23

本帖子中包含更多资源