Neuralangelo 是 NVIDIA 研究中心使用神经网络进行 3D 重建的新 AI 模型，可将 2D 视频剪辑转换为详细的 3D 结构，生成建筑物、雕塑和其他现实世界物体的逼真虚拟复制品。
就像米开朗基罗用大理石块雕刻出令人惊叹的、栩栩如生的视觉效果一样，Neuralangelo也能生成具有复杂细节和纹理的 3D 结构。然后，创意专业人士可以将这些 3D 对象导入到设计应用程序中，进一步编辑它们以用于艺术、视频游戏开发、机器人和工业数字孪生。
Neuralangelo 将复杂材料（包括屋顶瓦、玻璃板和光滑大理石）的纹理从 2D 视频转换为 3D 资源的能力显着超越了以前的方法。高保真度使其 3D 重建更容易，开发人员和创意专业人士可以使用智能手机捕获的镜头为其项目快速创建可用的虚拟对象。
“Neuralangelo 提供的 3D 重建功能将为创作者带来巨大好处，帮助他们在数字世界中重建现实世界，”高级研究总监兼论文合著者 Ming-Yu Liu 表示。“该工具最终将使开发人员能够将详细的对象（无论是小型雕像还是大型建筑物）导入视频游戏或工业数字孪生的虚拟环境中。”
在演示中，NVIDIA 研究人员展示了该模型如何重新创建像米开朗基罗的大卫一样具有标志性的物体以及像平板卡车一样常见的物体。Neuralangelo 还可以重建建筑物的内部和外部 – 通过 NVIDIA 湾区园区公园的详细 3D 模型进行了演示。
神经渲染模型以 3D 形式呈现
先前用于重建 3D 场景的 AI 模型很难准确捕捉重复的纹理图案、均匀的颜色和强烈的颜色变化。Neuralangelo 采用即时神经图形基元（ NVIDIA Instant NeRF背后的技术）来帮助捕捉这些更精细的细节。
该模型使用从不同角度拍摄的物体或场景的 2D 视频，选择捕捉不同视点的多个帧，就像艺术家从多个侧面考虑一个主题以获得深度、大小和形状的感觉。
一旦确定了每一帧的摄像机位置，Neuralangelo 的人工智能就会创建场景的粗略 3D 表示，就像雕塑家开始凿出主体的形状一样。
然后，模型优化渲染以锐化细节，就像雕塑家煞费苦心地凿石头来模仿织物或人体的纹理一样。
最终结果是可用于虚拟现实应用、数字孪生或机器人开发的 3D 对象或大型场景。
查找 CVPR 上的 NVIDIA 研究，6 月 18 日至 22 日
Neuralangelo是NVIDIA Research将在 6 月 18 日至 22 日于温哥华举行的计算机视觉和模式识别会议 (CVPR) 上展示的近 30 个项目之一。这些论文的主题涵盖姿态估计、3D 重建和视频生成。
其中一个项目DiffCollage是一种扩散方法，可创建大规模内容，包括长横向、360 度全景和循环运动图像。当输入具有标准纵横比的图像训练数据集时，DiffCollage 会将这些较小的图像视为较大视觉效果的一部分，就像拼贴画的一部分一样。这使得扩散模型能够生成看起来有凝聚力的大型内容，而无需在相同比例的图像上进行训练。
该技术还可以将文本提示转换为视频序列，使用捕获人体运动的预训练扩散模型进行了演示：
