Renderu.com
10.3 K帖子
68.3 K关注
35.0 M访问
Alex Rowan

Runway 给视频配声,不动对白

软件

Runway 把 Mirelo SFX 2.0 接入了自家平台——这个模型根据画面构建声音轨道:读取场景的动作、节奏与声学特征,按镜头内发生的事情铺排脚步声、撞击声、拟音和环境声,同时保留片中的人声。Mirelo 于 2026 年 10 月 14 日发布 2.0 版本,两天后 Runway 宣布其上线。

对生成式视频流程来说,这补上了一处短板。画面由模型生成,声音却仍是手工活:剪辑师把片子拿到 Premiere Pro 或 DaVinci Resolve 里,手动寻找、裁剪并对齐音效库素材。Mirelo 的提议是自动完成这一道工序——在已完成的剪辑之上进行,无需重新生成视频。

Runway 给视频配声,不动对白
Runway 宣布接入 Mirelo SFX 2.0 的短片画面。图片:Runway

人声比音效本身更难处理

自动声音设计的主要难题不是合成脚步噪声,而是不要盖住已经录好的人声:自动 SFX 工具通常把生成的声层直接压在对白之上。Mirelo SFX 2.0 会识别片中的人声并将其保留在最终轨道里,同时清除其余非对白音频——包括视频模型自行添加的音乐——并围绕台词构建新的音效,其中也包括闪避(ducking)处理。

对 video-to-SFX 请求,人声保留默认开启;如果只需要音效,可以关掉。没有单独的“去除音乐”开关——非对白音频的清除本身就写进了模型的处理逻辑。

Runway 给视频配声,不动对白

模型能做什么,边界在哪里

模型共发布了三个版本:

  • video-to-sound——主模式:一条连贯的声层,与视频同步,并围绕已有人声铺排。
  • text-to-sound——用于不需要与画面同步的场合(例如环境声),或需要添加画外声音、之后再手动对齐的情况。
  • stem——一次生成一条同步声音,以便逐层搭建混音;该模式宣布为即将推出。

通过 Mirelo Studio 和 API,上限为 10 分钟视频;公司称声音在整段长度上都能保持连贯,不会在剪切点处散掉,因此无需把成片切成短小片段。更长的素材则提供按需洽谈的企业方案。

比现有方案好多少

Mirelo 公布了一项盲测对比的结果:每组配对招募 25 名听众,共 30 条片子,按音质和与画面内容的贴合度在两条轨道间做选择,并设有“平局”选项。听众在众包平台招募,并按音频测试中的准确率做了预筛。按这组数据,SFX 2.0 在 81% 的情况下被认为优于 Sony Woosh 的轨道,对 Kling Foley 为 63%,对 Sonilo 为 46%。与视频模型自带生成的声音相比,差距较小:Veo 3.1 Fast 为 57%,MiniMax H3 Max 为 49%,Flux 3 为 48%,Seedance 2.5 为 47%,Kling 为 45%。测试由厂商自行进行,目前尚无独立测评,因此这些数字应视为公司的说法,而非外部测量结果。

Runway 给视频配声,不动对白

在哪里可以用

除了 Runway 和 fal,Mirelo SFX 2.0 还可在公司自家的 playground 和编辑器中使用,并提供 API 和 MCP,以及 Adobe Premiere Pro 和 DaVinci Resolve 插件;Roblox 版本宣布为即将推出。其余平台公司承诺稍后接入。

Runway 为什么要用别人的模型来做声音

一个自己就有音频生成能力的平台,接入了第三方模型。Runway 有自己的声音工具,也有原生输出音频的视频模型,但它们都以提示词或自家生成的视频为起点,而 Mirelo 从已有画面出发——包括来自别人模型或摄影机的画面。对一个在有条不紊接入合作方模型的平台来说,这是合乎逻辑的补充:声音不再是视频生成器的副产品,而成为一个可以重做、且不必动画面的独立声层。

这背后透出一个更大的转向。当视频模型在学习把声音与画面一并输出时,业界一部分力量押的是相反方向——专门处理音频层、在剪辑完成之后才介入的模型。两边的逻辑最终汇到同一点:把生成式短片拆成可控的分层,而不是一份无法拆解的成品。Mirelo 自己明确瞄准这一市场——其 API 面向构建视频智能体和视频生成平台的团队出售。

实际结果是:配声中的例行部分——为成片铺底的草稿拟音和环境声——变成了一次处理就能完成的事。受冲击最大的很可能是库存音效库和承接简单任务的外包方。受益者是剪辑师和小团队,他们过去只能在静音和别人的音乐之间二选一。但声音工程师的工作依然存在:模型交出的是一条合成后的声层,还需要融入混音,而分层输出在厂商那里目前仍只是计划。

Mirelo SFX 2.0 里的哪一项会最先用到工作中?

  • 不损失人声的音乐去除
  • 按画面生成的拟音
0
相关新闻:
Runway 无需补拍即可替换已拍视频中的演员
Runway 为 Seedance 2.5 开启草稿模式——找镜头阶段的廉价试拍
Red Giant 学会了在已拍摄视频中重新布光
Runway 把生成、编辑和放大直接做进了 DaVinci Resolve 时间线
评论:0
发布日期