差点以为是本人！这个3D人体生成模型厉害了，还能本身改POSE

phoe099 · 发表于 2023-9-28 11:08:49

丰色发自凹非寺
量子位报道 | 公众号 QbitAI

很多3D人体模型都很强大，但总是不免“裸奔”。
像要缔造出真正的人类“化身”模型，衣服和头发不成或缺。
但这些元素的精确3D数据非常稀少，还很难获得。

来自三星AI中心（莫斯科）等团队的技术人员一直致力于此方面的研究，最终他们开发出这样一个模型：
生成的3D人，穿戴原本的衣服、发量发型也都毫无保留地呈现。
乍一看，“跟真人似的”。
更棒的是，无需模特示范，模型还可以“触类旁通”，摆出各种POSE！
效果是这样子的：

该模型被定名为StylePeople。
来看看具体怎么搞的吧！
神经装扮模型（The neural dressing model）
其实，不止是“裸奔”，很多三维人体模型还很“死板”：模特摆什么姿势模型就跟着摆什么。
就像此前，操作隐函数来生成的三维人体模型能够高度还原模特的着装和发型了，但是人物姿势依然不够变通，只能从原模特的几个特定视角生成。
ps.也是该团队的研究成果
所以在为3D人体模型还原衣服颜色、褶皱和发型的同时，也要保证人物的姿势可以“触类旁通”。
为此研究人员采用将多边形实体网格建模与神经纹理相结合的方式。
多边形网格负责控制和建模粗拙的人体几何姿势，而神经衬着负责添加衣服和头发。
首先他们设计了一个神经装扮模型（The neural dressing model），该模型结合了可变形网格建模与神经衬着，如下图所示。

最左列暗示被可视化的前三个PCA组件。
第2、3列为在用SMPL-X建模的人体网格上叠加“人型化身”的纹理（texture）。
第4、5列为使用衬着网络光栅化衬着出的成果。
可以优雅地措置出宽松的衣服和长头发以及复杂的穿衣布局！
接下来，基于上面的神经装扮模型，研究人员造出能生成“Fullbody”的3D人体模型。
最终的生成架构是StyleGANv2和神经装扮的结合。
StyleGAN部门使用反向传布算法生成神经纹理，然后将其叠加在SMPL-X网格上，并使用神经衬着器进行衬着。

在对抗性学习中，判别器将每一对图像看为同一个人。
提高了视频和少量图像生成3D人类模型的技术程度
在对神经装扮这一方式的效果验证中，研究人员首先评估了基于视频素材的3D模型生成成果。
效果如文章开头所展示的图像，左边是示例源帧，其余的图像是左边视频人物的“化身”。在简单的增强现实法式做的布景下，呈现出了模特先前并没有摆过的各种姿势。
接下来，对基于小样本图像素材的神经装扮效果进行评估。
研究人员使用仅两个人的People Snapshot数据集将他们的神经装扮方式与其他各种方式（如360Degree等，见表）进行斗劲。
衡量生成的模型质量的指标包罗LPIPS（感知相似度）、SSIM（布局相似性）、FID（真实样本与生成样本在特征空间之间的距离）、和IS（清晰度与多样性得分）。
成果显示了他们的方式在所有指标上都占有优势，
除了IS以外，但影响不大，因为它与视觉质量的相关性最小。

最后，该团队暗示，他们这个模型的生成效果（如下图）仍然受到目前样本数据规模和质量的限制，此后工作重点是提高该模型的数据操作率。

有兴趣的同学可以持续存眷该团队的研究进展。
参考链接：
[1]https://arxiv.org/abs/2104.08363
—完—
@量子位 · 追踪AI技术和产物新动态
深有感到的伴侣，欢迎附和、存眷、分享三连վ'ᴗ' ի ❤

jiaminmin · 发表于 2023-9-28 11:09:02

这种我都懒得看了，可以想象代码实际跑起来和论文里得图例有多少差距。

韶城数码 · 发表于 2023-9-28 11:09:50

有没有开源？

郝迫匕40 · 发表于 2023-9-28 11:10:43

拉黑了还天天给我推送，我只能举报了，一天举报3次，不信你还能出现

		自动登录	找回密码
密码			立即注册

差点以为是本人！这个3D人体生成模型厉害了，还能本身改POSE

本帖子中包含更多资源