NVIDIA发布最新LATTE3D研究项目，1秒生成3D模型

LATTE3D的功能为“文生3D模型”，用户输入提示词之后就可快速生成3D模型。举例来说可以生成站在滑板上的折纸猫咪。或是生成针织风格的鹤。目前LATTE3D主要针对动物和日常物体等主题进行训练，生成动物3D模型的效果较为理想。LATTE3D具有可以生成不同品种狗3D模型的能力。



NVIDIA在GTC 2024春季场发布的LATTE3D研究项目是款能将于文本转换为3D模型的生成式AI技术，并将花耗时间由10-12秒缩短至1秒。

NVIDIA AI研究副总裁Sanja Fidler所属位于多伦多的AI实验室团队在GTC 2024春季场的座谈活动中，发布了LATTE3D并于现场进行实机展示，该技术能够高效率通过文本提示词生成3D模型，在搭配NVIDIA RTX A6000 GPU的情况下能够几乎即时生成3D模型。

在LATTE3D的协助下，创作者无需从头开始设计或在3D数据库内搜索现有现有模型，而是能在输入提示词之后生成多组3D模型供创作者选择，并在几分钟内完成优化提高模型的品质，有助于捕捉稍纵即逝的创意并加速工作流程。

用户可以导出OpenUSD格式模型，并在其他3D开发程序中使用，也能导出至Omniverse该平台，让生成的模型可以轻松应用于虚拟环境，用于开发电玩游戏、广告活动、设计项目或机器人的虚拟训练场景。

LATTE3D利用NVIDIA A100 GPU进行训练，并搭配ChatGPT生成的提示词辅助训练，以提高模型对提示词的理解能力。虽然目前研究人员专注于动物和日常物体等主题训练LATTE3D，但用户也可以通过次模型架构搭配其他主题的数据训练模型，扩展LATTE3D的适用范围。











Sanja Fidler在座谈会回答笔者的提问中表示，LATTE3D预计以开源形式发布，但目前尚处于开发阶段，需等待项目更加完善才会计划推出。