Stability AI新模型：可从单张图片生成360° 无死角及3D视频

SV3D可通过输入单一对象形象，输出该对象的新颖的多视图再利用这些视图生成3D视频。



Stability AI发布新模型Stable Video 3D（SV3D），可以通过单张照片生成出360°环绕视角的轨道视频（orbital videos），以及在指定的摄像机路径上创建3D视频，视频的品质与视角一致性都有大幅提升。Stable Video 3D现在可以通过Stability AI会员资格用于商业目的。对于非商业用途，则可以在Hugging Face上下载模型权重并参考其研究论文。

SV3D是基于Stable Video Diffusion的生成模型，包含2的变体，SV3D_u及SV3D_p。



官方表示，与先前的Stable Zero123相比，SV3D不仅提供多视角及提高品质，同时也优于其他开源替代方案，如Zero123-XL。



不同于先前常常受限于视角和输出不一致性的方法，SV3D的新视角合成（novel view synthesis, NVS）能够以熟练的泛化能力，从任何角度提供一致的视角，不仅增强姿势控制性，还能确保物体在多个视角下的外观一致性，进一步提高真实和准确3D生成的关键方面。



使用SV3D获得的3D网格结果，与EscherNet和Stable Zero123生成的输出进行比较。

另外，为了改善直接重新视角生成的3D网格的品质，Stability AI设计了一种新的遮罩分数蒸馏抽样损失函数（Masked Score Distillation Sampling Loss），以进一步提高在预测视图中不可见区域的3D品质；还采用解耦光照优化（Disentangled Illumination Optimization）减少固定照明的问题。

Stability AI会员可使用SV3D进行商业用途，而非会员则可以在开源社交媒体平台Hugging Face上下载模型权重，及查看公开的研究论文。