Runway 展示 Continuum——由视频模型绘制界面的项目

Runway 以 Continuum 的展示为其在旧金山举办的为期一天的 AI Summit 收官，这是其研究部门 Runway Labs 的新项目。联合创始人兼联席 CEO Cristóbal Valenzuela 把最后一场演讲用于讲述生成式视频如何一路变化，并介绍了这个被 Runway Labs 称为实时视频操作系统的项目。Runway 表示，峰会演讲的完整录像将在之后发布。

公司尚未公布 Continuum 的技术细节：从公告中只能得知这是 Runway Labs 的最新项目，并在收官演讲中展示。峰会本身于 9 月 30 日在 The Masonic 举行，围绕世界模型、实时视频生成、机器人、物理 AI 与监管展开，参与方包括 NVIDIA、Google DeepMind、Wayve、Physical Intelligence、Adobe、Canva、Salesforce、Roblox、CoreWeave 以及加利福尼亚州州长办公室的代表。

无需代码的界面：Solaris

Runway 另外介绍了 Solaris——公司称之为 Interface World Models（界面世界模型）这一系列中的首个模型。这是一个实时交互模型，它逐帧生成界面本身：每一帧都在交互过程中合成，因此画面会持续响应用户的操作。在这套方案里不存在中间表示——也就是设计通常要被转译成的代码——整个画面就成了界面。

Solaris 基于 Gen-4.5 视频模型构建，并针对理解交互与实时响应做了适配；公司将它描述为自家通用世界模型 GWM-1 路线的延续。模型把用户输入当作下一帧的条件来处理——与文本或图像的处理方式相同——并在生成过程中观察点击、拖拽等操作。与此同时还有一个语言模型在并行工作：它解读请求，判断是修改当前场景还是切换到新场景，并生成 Solaris 据以绘制每个状态的提示词。实时性由三个步骤拼出：自回归的逐帧生成、把多步去噪蒸馏到少数几步，以及用快速模型自己的输出对其继续训练，使画质在长时间会话中保持稳定。

Runway 列出了该项目遇到的三项工程限制。延迟约半秒时交互性就会丧失，而扩散类视频模型生成一段片段需要数秒到数分钟。连贯性必须在整个会话期间保持，而生成式视频历来恰恰在文本、排版和对象一致性上表现不佳，细小的错误还会累积。逐帧生成比把一次拼好的页面发送出去更昂贵，不过据公司称，正是带来实时性的那套优化，让模型比普通视频扩散便宜了数个数量级。公司给出的目标是实时、会话期间的连贯性以及 720p 的画面质量。

为论证这一思路，Runway 给出了一项“转译成本”的测量：包括 Claude Fable 5 在内的多模态语言模型被要求仅凭一张截图，在一组 30 个界面上重建网站界面——从简单页面到图像密集以及含有实景照片的页面。相似度用 SSIM 和 DINOv3 特征评估，把原图的每个区域与重建结果中最相似的区域相比较。所有模型都会丢失信息，重建质量随视觉复杂度上升而下降，实景图像受影响最严重。

公司为 Solaris 描述的场景包括：场景本身即界面的虚拟展厅、把食材拖进盘子来拼一份沙拉，以及具有物理上可信反应的燃烧交互演示。第二种用途是训练智能体的环境：按 Runway 的说法，文本模型在订酒店这类电脑任务上表现不佳，因为它们会依赖具体的页面布局，而 Solaris 可以让它们在不断变化的界面上训练。

视频模型为何走向界面

Continuum 可以读作 Runway 近来一直在铺设的路线的延续：Gen-4.5、世界模型、实时生成。峰会的框架同样说明问题——世界模型、机器人与物理 AI，而不是剪片子；这一点对定位转变的说明不亚于新原型本身。

这背后大概是个简单的算计。片段生成市场已经拥挤且竞争激烈，而一个能实时维持交互场景的视频模型，为 Runway 打开了对手更少的领域：面向智能体和机器人的模拟器与训练环境、可视化、界面。如果这一趋势延续，实时生成将开始与绘制画面的既有方式竞争，而渲染与生成之间的边界，对图形从业者来说会变成一个实际问题。

对美术、模型师和开发者而言，眼下的影响看起来比这场演示更朴素：公司没有公布 Continuum 的使用条件，所以暂时还无法把它接入生产流程。透明度的问题也依然存在：代码可以阅读、可以比较版本，生成的像素却不行。而 Runway 自己列出的那组限制——速度、连贯性、成本、文本与排版的稳定性——相当准确地描述了生成式视频要想胜任工作工具这一角色之前必须解决的问题清单。

实时绘制界面的视频模型会成为工作工具，还是只会停留在会议上的演示？