World Labs 发布 Atlas:模型可控制视频中的摄像机,并输出带显式三维几何的场景
旧金山的 World Labs 公司发布了 Atlas——一个一次性承担四项任务的模型,而这些任务通常分散在不同工具中:由文本生成图像和 360 度全景、生成带摄像机控制的视频、由照片重建真实场景,以及根据视频记录模拟空间与时间。开发者称其为世界模型:生成、重建与模拟被统一在同一个闭环之中。
对做图形的人来说,关键的一点藏在重建功能的描述里。Atlas 既输出新视角的画面,又同时给出显式的三维结果——成果可以拿进场景,而不只是当作视频来剪辑。
把摄像机当作输入参数
Camera-Controlled Generation 模式接受一张或多张照片以及指定的摄像机位置与角度,输出 1440p 分辨率、最长一分钟的视频。按 World Labs 的说明,摄像机是以精确的几何而非文本指令来设定的,环绕轨迹则事先规划:在展示的示例中,摄像机路径是手工铺设的。
1440p 下连续一分钟的素材,长度上已经可以用于预演动画、动画插入镜头、背景,或作为合成的半成品。对于预可视化和方案推介,这种形式无需手工搭建场景,就能覆盖相当一部分工作。
从一帧到几十张照片
Spatial Reconstruction 模式可以用一张到几十张不等的图像还原真实场景。Atlas 生成新视点的画面,同时给出场景的显式三维表示;模型官方页面写明,结果可以以点云或高斯泼溅(gaussian splats)的形式导出。
这改变了为摄影测量拍摄的惯常流程。经典管线要求用几十上百张相互重叠的画面密集覆盖对象,光线讲究,且不能有运动物体。一个只需一小把照片的模型免除了其中一部分要求——从生成式方法的本性来看,代价在于场景中缺失的部分是被画出来的,而不是被测量出来的;World Labs 明确指出,输入中看不见的区域由 Atlas 脑补,提供的照片越多,脑补的成分越少。对于环境草图、参考素材和场地的快速数字孪生,这种交换是值得的;对于精确测绘则未必。
时空模拟与已拍素材的重新构图
第三种模式 Space-Time Simulation 依据输入视频对空间与时间建模。World Labs 提到两种用途:为视觉效果工作对已拍摄的视频重新取景,以及机器人领域的 Real-to-Sim 场景——把真实场景搬进仿真。
前者直接关系到后期制作:只要有几台普通摄影机拍下的素材,取景和机位都可以事后更改。后者说明这一模型的受众并不限于影视和游戏:同样的场景几何与动态数据,机器人开发者也需要。
第四种模式是由文本生成图像和 360 度全景,支持复杂提示词和不同视觉风格。全景可以直接作为生产格式使用:环境、天空盒、实时场景的背景。
目前谁能试用
没有自由开放的入口:Atlas 的抢先体验申请在公司网站上提交。World Labs 尚未公布资费和公开发布的时间。公司在一段影片中展示了模型的能力演示。
为什么分散的工具开始被收进同一个模型
过去几年,图形领域的生成式工具是以一批窄专精工具的形态发展的:视频生成器是一套,从照片恢复几何的方案是另一套,纹理和全景生成器又是一套。艺术家不得不手工把它们缝合起来,在每一处接缝上损失质量和时间。Atlas 的主张是相反的走向:用一个模型同时学会处理文本、图像、视频和三维数据,使一种模式的产物可以直接作为另一种模式的输入。
这背后很可能还有业界对高斯泼溅积累已久的兴趣:这一格式在几年之内走完了从研究课题到商业软件包支持的路程,而一个直接输出泼溅的生成模型正好落进已经铺好的管线。如果这一趋势延续,生成视频与搭建场景之间的界限会逐渐模糊,而模型师将被要求在筛选、清理和补全生成几何上投入更多工作。
此处保持谨慎是合理的:只要模型还处在封闭的抢先体验阶段,就无法判断它在真实生产素材上的表现——复杂的反射、细小的几何、运动中的拍摄。另一件事倒是清楚的:视频生成器之间的竞争正从画面质量转向对摄像机的控制,以及从结果中取出三维场景的能力。
выглядит очень угрожающе для многих профессий. Столько людей останутся без дохода...