Viggle 开源换角视频智能体 Remake 的模型权重

Viggle AI 公司发布了 Viggle Remake，这是一款用于改造已拍摄视频的智能体。它可以替换场景中的所有角色，更换物体和背景，为画面重新定调风格，并在长度不超过两分钟的视频中添加视觉效果。与此同时，该公司还公开了模型权重，因此除了云端服务，模型本身也可以获取。

云端的最低价格为 720p 分辨率下每 10 秒视频 0.96 美元。按此资费，一分钟约为 5.76 美元，而两分钟的最长视频约为 11.52 美元。Viggle AI 称，这不到 Higgsfield Genjutsu 价格的一半。

这款智能体能做什么

从公告来看，Remake 面向改造已拍素材的典型任务：

• 替换场景中的所有角色。该公司承诺，新角色在剪辑切换之间保持一致。对于由全景和特写剪接而成的对话场景，这是关键条件：否则角色会在镜头之间不断变化。
• 替换物体和背景。可以替换画面中的某件物品，或把动作搬到另一个场地。
• 重新定调风格与 VFX。可以把视频转换为另一种视觉风格，或为其添加特效。
• 通过对话打磨。可以不断给智能体发消息，直到某个具体镜头达到需要的样子。

最后一点公司是这样表述的：

“继续与智能体沟通，修正任何镜头，直到它变成应有的样子”。
— Viggle AI

这与 Viggle 此前的工具有何不同

Viggle 已经有若干面向具体任务的独立动画工具。Mix 把某个角色的图像“混入”带有动作的视频，Multi 对多个角色同时做同样的事，而 Motion Control 则按视频中的动作让静态画面活动起来。它们按点数计费，一个点数可覆盖 15 秒动画。

有人已经用这些工具做过连续剧内容。据 Viggle 博客介绍，作者 Mr. WAS 做了一部五集连续剧，并把 Mix 用在最重要的镜头上，即对话场景中的特写。涉及食物和外景的镜头，他是在 Runway Gen 2 里完成的。这样的流程意味着要把来自不同服务的素材拼接起来。从描述来看，Remake 把角色、物品、背景和风格的替换汇集到一个工具中，并可接受长度不超过两分钟、含剪辑切换的场景作为输入。

与 Genjutsu 的比较是否恰当

Higgsfield Genjutsu 解决的是类似任务：无需重拍即可重建片段的一部分。它有两种模式。Motion Transfer 从视频中提取动作，并围绕它构建新的场景。Object Swap 替换指定元素，画面其余部分保持不动。按 Higgsfield 指南的说明，每次生成该服务可接受不超过 30 秒的视频和最多 30 张参考照片，输出结果的分辨率最高为 1080p。提示词并非必需，工作可以用预设完成。还有一个轻量版 Genjutsu Lite，同样不超过 30 秒，支持 720p 或 1080p。

在长度上 Remake 领先四倍：每次生成两分钟对 30 秒。价格则更复杂。Viggle 只给出了 720p 的费用，而 Genjutsu 还能输出 1080p。该公司没有提供 Remake 更高分辨率的资费，因此关于价格不到 Genjutsu 一半的说法，只有在 720p 这一可比输出上才有核对的意义。

目前还不清楚的事

开放权重可通过帖子中的链接获取，云端版本在这里启动。公告中缺少对想把模型部署在本地的工作室最重要的内容：权重的许可协议、商业使用条件以及对显卡的要求。同样没有披露的是，智能体究竟如何在剪辑切换之间保持角色一致，以及这一机制会在哪里失效。

据我们判断，Remake 究竟对谁真正有用，取决于这些答案。制作短视频和社交网络内容的作者，大概按秒付费的云端服务就够了。而对于不能把客户素材送往外部服务的后期制作工作室和 VFX 团队，开放权重的吸引力在于可以本地运行。在许可协议未知之前，把该模型纳入商业流程是有风险的。1080p 及以上特写镜头的质量问题也仍然没有答案，角色替换的错误在那里最为明显。

Viggle 为什么要开源 Remake 的权重：来自开源竞争者的压力、押注开发者社区，还是争夺市场份额？