找回密码
 立即注册
查看: 308|回复: 3

AI 制作 3D 素材 | 基于 AI 5 天创建一个农场游戏,第 3 天

[复制链接]

2

主题

0

回帖

7

积分

新手上路

积分
7
发表于 2023-5-8 10:30:21 | 显示全部楼层 |阅读模式
欢迎使用 AI 进行游戏开发! 在本系列中,我们将使用 AI 东西在 5 天内创建一个功能完备的农场游戏。到本系列结束时,您将了解到如何将多种 AI 东西整合到游戏开发流程中。本文将向您展示如何将 AI 东西用于:
注意: 本教程面向熟悉 Unity 开发和 C# 语言的读者。如果您不熟悉这些技术,请先查看 Unity for Beginners 系列后再继续阅读。
第 3 天:3D 素材

本教程系列的 第 2 部门 介绍了 使用 AI 进行游戏设计。更具体地说,我们提问 ChatGPT 进行头脑风暴,进而设计农场游戏所需的功能组件。
在这一部门中,我们将探讨如何使用 AI 制作 3D 素材。先说结论:不成行。因为 现阶段 的文本-3D 技术程度还没有成长到可用于游戏开发的程度。不外 AI 范围在迅速变化,可能很快就有打破。如想了解 文本-3D 现阶段进展现阶段不成行的原因,以及 文本-3D 的未来成长,请继续往下阅读。
文本-3D 现阶段进展

我们在 第 1 部门 中介绍了使用 Stable Diffusion 辅佐确立游戏美术风格,这类 文本-图像 的东西在游戏开发流程中表示非常震撼。同时游戏开发中也有 3D 建模需求,那么从文本生成 3D 模型的 文本-3D 东西表示如何?下面总结了此范围的近期进展:

  • CLIPMatrixCLIP-Mesh-SMPLX 可以直接生成 3D 纹理网格。
  • DreamFusion 使用 diffusion 技术从 2D 图像生成 3D 模型。
  • CLIP-Forge 可以从文本生成体素(体积像素,3 维空间最小分割单元,类似图片的像素)3D 模型。
  • CLIP-NeRF 可以输入文本或者图像来驱动 NeRF 生成新的 3D 模型。
  • Point-EPulsar+CLIP 可以用文本生成 3D 点云。
  • Dream Textures 使用了 文本-图像 技术,可以在 Blender(三维图形图像软件)中自动对场景纹理贴图。
❝ 注:3D 对象有多种表征形式:显式(explicit representation)包罗网格、体素、点云等,可以进行贴图、衬着、合成虚拟视角等;隐式(implicit representation)凡是使用函数映射来描述,NeRF 就是一种可以合成虚拟视角的隐式表征。
除 CLIPMatrix 和 CLIP-Mesh-SMPLX 之外,上述大部门方式或基于 视图合成 (view synthesis) 生成 3D 对象,或生成特定主体的新视角,这就是 NeRF(Neural Radiance Fields,神经辐射场) 背后的思想。NeRF 使用神经网络来做视图合成,这与传统 3D 衬着方式(网格、UV 映射、摄影测量等)有较大差异。



使用 NeRF 做视图合成

那么,这些技术为游戏开发者带来了多少可能性? 我认为 现阶段,实际上它还没有成长到可用于游戏开发的程度。下面我会说明一下原因。
现阶段不成行的原因

注意: 此部门面向熟悉传统 3D 衬着技术(如 网格UV映射,和 摄影测量)的读者。
网格是大部门 3D 世界的运行基石。诸如 NeRFs 的视图合成技术虽然效果非常惊艳,但现阶段却难以兼容网格。不外 NeRFs 转换为网格 标的目的的工作已经在进行中,这部门的工作与 摄影测量 有些类似,摄影测量是对现实世界特定对象采集多张图像并组合起来,进而制作网格化的 3D 模型素材。



NVlabs instant-ngp, 撑持 NeRF-网格 转换。

既然基于神经网络的 文本-NeRF-网格和摄影测量的采图-组合-网格两者的 3D 化流程有相似之处,同样他们也具有相似的局限性:生成的 3D 网格素材不能直接在游戏中使用,而需要大量的专业常识和额外工作才能使用。因此我认为,NeRF-网格可能是一个有用的东西,但现阶段并未显示出 文本-3D 的变化潜力。
还拿摄影测量类比,目前 NeRF-网格 最适合的场景同样是创建超高保真模型素材,但实际上这需要大量的人工后措置工作,因此这项技术用在 5 天创建一个农场游戏系列中没有太大意义。为保证游戏开发顺利进行,对于需要有差异性的多种农作物 3D 模型,我决定仅使用颜色分歧的立方体加以区分。



Stable Diffusion Demo Space

不外 AI 范围的变化非常迅速,可能很快就会呈现可行的解决方案。不才文中,我将讨论文本-3D 的一些成长标的目的。
文本-3D 的未来成长

虽然文本-3D 范围比来取得了长足进步,但与现阶段文本-2D 的影响力对比,仍有显著的差距。对于如何缩小这个差距,我这里猜测两个可能的标的目的:

  • 改良 NeRF-网格和网格生成(将持续的几何空间细分为离散的网格拓扑单元)技术。如上文提到的,现阶段 NeRF 生成的 3D 模型需要大量额外的工作才能作为游戏素材使用,虽然这种方式在创建高保真模型素材时非常有效,但它是以大量时间开销为代价的。如果您跟我一样使用 low-poly(低多边形)美术风格来开发游戏,那么对于从零开始制作 3D 素材,您可能会偏好更低耗时的方案。
  • 更新衬着技术:允许 NeRF 直接在引擎中衬着。虽然没有官方公告,不外从 Nvidia OmniverseGoogle DreamFusion3d 猜测,有许多开发者正在为此努力。
时间会给我们答案。如果您想跟上最新进展,可以在 Twitter 上存眷作者查看相关动态。如果我错过了哪些新进展,也可以随时与我联系!
敬请等候第 4 部门的分享,我将为您介绍如何 使用 AI 制作 2D 素材
称谢

感激 Poli @multimodalart 提供的最新开源文本-3D 信息。
<hr/>
英文原文: https://huggingface.co/blog/ml-for-games-3
原文作者: Dylan Ebert, Hugging Face 工程师
中文译者: SuSung-boy (苏桑),经常倒腾图像的工业视觉算法工程师。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
回复

使用道具 举报

0

主题

4

回帖

12

积分

新手上路

积分
12
发表于 2023-5-8 10:30:52 | 显示全部楼层
你这游戏是给人玩的还是宣传AI的,你真的想做游戏吗?
回复

使用道具 举报

0

主题

1

回帖

8

积分

新手上路

积分
8
发表于 2023-5-8 10:31:42 | 显示全部楼层
省流:做不了
回复

使用道具 举报

0

主题

2

回帖

5

积分

新手上路

积分
5
发表于 2023-5-8 10:32:11 | 显示全部楼层
hugging face已经开始做游戏了吗?[赞同][赞同]
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|T9AI - 深度人工智能平台 ( 沪ICP备2023010006号 )

GMT+8, 2024-5-14 19:54 , Processed in 0.067735 second(s), 23 queries .

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表