GET3D 英伟达

我们通过两个潜在代码生成一个 3D SDF 和一个纹理场。我们利用DMTet从SDF中提取3D表面网格，并查询表面点的纹理字段以获取颜色。我们使用在 2D 图像上定义的对抗性损失进行训练。特别是，我们使用基于光栅化的可微渲染器来获取RGB图像和轮廓。我们利用两个2D鉴别器，分别在RGB图像和轮廓上，对输入是真的还是假的进行分类。整个模型是端到端的。

GET3D能够生成具有任意拓扑，高质量几何形状和纹理的各种形状。

抽象

随着一些行业开始对大规模 3D 虚拟世界进行建模，对能够在 3D 内容的数量、质量和多样性方面进行扩展的内容创建工具的需求变得越来越明显。在我们的工作中，我们的目标是训练高性能的3D生成模型，这些模型可以合成纹理网格，这些网格可以直接被3D渲染引擎使用，从而立即可用于下游应用程序。之前关于3D生成建模的工作要么缺乏几何细节，要么在可以生成的网格拓扑中受到限制，通常不支持纹理，要么在合成过程中使用神经渲染器，这使得它们在普通3D软件中的使用变得不平凡。在这项工作中，我们介绍了GET3D，这是一种生成模型，可直接生成具有复杂拓扑，丰富几何细节和高保真纹理的显式纹理3D网格。我们将最近在可微曲面建模、可微渲染以及 2D 生成对抗网络方面的成功结合起来，从 2D 图像集合中训练我们的模型。GET3D能够生成高质量的3D纹理网格，从汽车，椅子，动物，摩托车和人类角色到建筑物，比以前的方法有了显着改进。

纸

GET3D：从图像中学习的高质量3D纹理形状的生成模型

高军、沈天长、王子安、陈文正、尹康学、李岱庆、或利塔尼、赞·戈伊契奇、桑贾·菲德勒

描述.PDF

描述arXiv版本

insert_comment比特克斯

生成的 3D 资产

无条件 3D 生成的定性结果。我们重点介绍了我们生成的带有纹理的 3D 网格的多样性和质量，包括：1. 椅子腿上的轮子;2.车轮，汽车的所有灯和窗户;3.动物的老鼠、耳朵、角;4. 后视镜，摩托车轮胎上的线框， 5.高跟鞋，人类的布料

几何体和纹理之间的解开

在每一行中，我们显示从相同的几何潜伏代码生成的形状，同时更改纹理潜伏代码。在每一列中，我们显示从相同的纹理潜在代码生成的形状，同时更改几何代码。我们的模型在几何体和纹理之间实现了良好的解开。

在每一行中，我们显示从相同纹理潜在代码生成的形状，同时从左到右插值几何潜在代码。在每一列中，我们显示从相同的几何潜伏代码生成的形状，同时从上到下插入纹理代码。此结果演示了它们中的每一个的有意义的插值。

潜在码插值

在每个子图中，我们在潜在空间中应用随机游走并生成相应的 3D 形状。GET3D能够在所有类别的不同形状之间生成平滑过渡。

生成新颖的形状

在每一行中，我们通过添加一个小噪声来局部扰动潜在代码。通过这种方式，GET3D能够生成外观相似的形状，但局部略有不同。

无监督材料生成

结合DIBR++，GET3D能够以完全无监督的方式生成材质并产生有意义的与视图相关的照明效果。

文本引导形状生成

Text-guided shape generation. We follow recent work StyleGAN-NADA , where users provide a text and we finetune our 3D generator by computing the directional CLIP loss on the rendered 2D images and the provided texts from the users. Our model generates a large amount of meaningful shapes with text prompts from the users.

Citation

@inproceedings{gao2022get3d, title={GET3D: A Generative Model of High Quality 3D Textured Shapes Learned from Images}, author={Jun Gao and Tianchang Shen and Zian Wang and Wenzheng Chen and Kangxue Yin and Daiqing Li and Or Litany and Zan Gojcic and Sanja Fidler}, booktitle={Advances In Neural Information Processing Systems}, year={2022} }

Further Information

GET3D builds upon several previous works:

Learning Deformable Tetrahedral Meshes for 3D Reconstruction (NeurIPS 2020)
Deep Marching Tetrahedra: a Hybrid Representation for High-Resolution 3D Shape Synthesis (NeurIPS 2021)
Extracting Triangular 3D Models, Materials, and Lighting From Images (CVPR 2022)
EG3D: Efficient Geometry-aware 3D Generative Adversarial Networks (CVPR 2022)
DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer (NeurIPS 2021)
Nvdiffrast – Modular Primitives for High-Performance Differentiable Rendering (SIGRAPH Asia 2020)

Please also consider citing these papers if you follow our work.
@inproceedings{dmtet, title = {Deep Marching Tetrahedra: a Hybrid Representation for High-Resolution 3D Shape Synthesis}, author = {Tianchang Shen and Jun Gao and Kangxue Yin and Ming-Yu Liu and Sanja Fidler}, year = {2021}, booktitle = {Advances in Neural Information Processing Systems} } @inproceedings{nvdiffrec, title={Extracting Triangular 3D Models, Materials, and Lighting From Images}, author={Munkberg, Jacob and Hasselgren, Jon and Shen, Tianchang and Gao, Jun and Chen, Wenzheng and Evans, Alex and M{“u}ller, Thomas and Fidler, Sanja}, booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition}, pages={8280–8290}, year={2022} }