Runway, 대사는 건드리지 않고 영상에 소리를 입힌다

Runway가 자사 플랫폼에 Mirelo SFX 2.0을 연결했다. 이 모델은 영상으로부터 사운드 트랙을 구성한다. 장면의 동작과 타이밍, 음향을 읽어 화면에서 벌어지는 일에 맞춰 발소리와 타격음, 폴리, 앰비언스를 배치하면서 클립 속 음성은 그대로 보존한다. Mirelo는 2026년 10월 14일에 2.0 버전을 공개했고, Runway는 이틀 뒤 자사 도입을 발표했다.

생성형 영상 파이프라인에서 이는 약한 고리를 메운다. 그림은 모델로 만들지만 소리는 여전히 수작업이다. 편집자는 클립을 Premiere Pro나 DaVinci Resolve로 가져가 라이브러리 효과음을 직접 찾고 다듬고 맞춘다. Mirelo는 이 과정을 자동으로, 이미 완성된 편집본 위에서 영상을 재생성하지 않고 처리하자고 제안한다.

Runway, 대사는 건드리지 않고 영상에 소리를 입힌다 — Runway가 Mirelo SFX 2.0 도입을 알린 영상의 한 장면. 이미지: Runway

효과음보다 어려웠던 것은 음성이었다

자동 사운드 디자인의 핵심 문제는 발소리 합성이 아니라 이미 녹음된 음성을 뭉개지 않는 것이다. 자동 SFX 도구는 보통 생성된 레이어를 대사 위에 얹는다. Mirelo SFX 2.0은 클립에서 음성을 식별해 최종 트랙에 보존하고, 영상 모델이 스스로 붙인 음악을 포함한 나머지 비대사 사운드는 걷어내며, 새 효과음은 대사를 중심으로 구성한다. 더킹 처리도 여기에 포함된다.

음성 보존은 video-to-SFX 요청에서 기본으로 켜져 있고, 효과음만 필요하면 끌 수 있다. '음악 제거'라는 별도 토글은 없다. 비대사 사운드의 제거는 모델 자체의 동작 논리에 들어 있다.

모델이 할 수 있는 일과 그 한계

모델은 세 가지 형태로 출시됐다.

video-to-sound — 주요 모드. 영상에 동기화되고 기존 음성을 중심으로 구성된 하나의 일관된 사운드 레이어.
text-to-sound — 화면과의 동기화가 필요하지 않을 때(예: 앰비언스)나, 나중에 수동으로 맞출 화면 밖 소리를 추가해야 할 때.
stem — 동기화된 소리를 한 번에 하나씩 생성해 믹스를 레이어별로 쌓는 방식. 준비 중인 모드로 발표됐다.

Mirelo Studio와 API를 통한 상한은 영상 10분이다. 회사는 이 길이 전체에서 소리가 일관성을 유지하고 컷 경계에서 흐트러지지 않으므로 완성된 편집본을 짧은 조각으로 자를 필요가 없다고 밝혔다. 더 긴 소재에는 문의를 통한 기업 요금제가 제공된다.

기존 방식보다 얼마나 나은가

Mirelo는 블라인드 비교 결과를 공개했다. 조합별로 모집된 청취자 25명, 영상 30편, 음질과 화면에서 벌어지는 일과의 부합도를 기준으로 두 트랙 중 하나를 선택하며 '무승부' 선택지도 있었다. 청취자는 크라우드소싱 플랫폼에서 오디오 테스트 정확도로 사전 선별해 모집했다. 이 데이터에 따르면 SFX 2.0은 Sony Woosh의 트랙보다 81%, Kling Foley보다 63%, Sonilo보다 46%의 경우에서 선호됐다. 영상 모델이 스스로 생성하는 소리와 비교하면 격차는 더 작다. Veo 3.1 Fast는 57%, MiniMax H3 Max는 49%, Flux 3은 48%, Seedance 2.5는 47%, Kling은 45%다. 테스트는 공급사가 직접 수행했고 아직 독립적인 측정은 없으므로, 이 수치는 외부 측정이 아니라 회사의 주장으로 받아들이는 편이 좋다.

어디서 쓸 수 있나

Runway와 fal 외에도 Mirelo SFX 2.0은 회사 자체 플레이그라운드와 에디터, API와 MCP, 그리고 Adobe Premiere Pro와 DaVinci Resolve 플러그인으로 제공된다. Roblox용 버전은 준비 중이라고 밝혔다. 나머지 플랫폼은 추후 연결하겠다는 것이 회사의 약속이다.

Runway가 소리에 외부 모델을 쓰는 이유

자체 오디오 생성 기능을 가진 플랫폼이 외부 모델을 추가했다. Runway에는 자체 사운드 도구와 오디오를 네이티브로 출력하는 영상 모델이 있지만, 모두 프롬프트나 자체 영상 생성에서 출발한다. 반면 Mirelo는 완성된 화면에서 출발한다. 타사 모델에서 왔거나 카메라로 촬영한 화면도 포함된다. 파트너 모델을 꾸준히 끌어들이는 플랫폼에게는 논리적인 보완이다. 소리는 영상 생성기의 부산물이기를 그치고, 그림을 건드리지 않고 다시 만들 수 있는 별도의 레이어가 된다.

그 뒤에는 더 넓은 변화가 비친다. 영상 모델이 그림과 소리를 한꺼번에 내놓는 법을 익히는 동안, 업계 일부는 반대쪽에 걸었다. 편집이 끝난 뒤에 작동하는 오디오 레이어 전용 모델이다. 양쪽의 논리는 한 지점으로 모인다. 분해할 수 없는 하나의 결과물 대신 생성형 영상을 제어 가능한 레이어로 나누는 것이다. Mirelo 자신도 이 시장을 분명히 겨냥한다. API는 비디오 에이전트와 영상 생성 플랫폼을 만드는 팀에 판매된다.

실질적인 결론은 이렇다. 소리 작업의 루틴한 부분, 즉 완성된 편집본에 깔 초안 폴리와 앰비언스가 한 번의 처리로 해결된다. 타격이 가장 큰 쪽은 스톡 효과음 라이브러리와 단순 작업을 맡던 외주업체일 가능성이 높다. 이득을 보는 쪽은 전에는 침묵과 남의 음악 사이에서 골라야 했던 편집자와 소규모 팀이다. 다만 사운드 엔지니어의 일은 남는다. 모델은 합쳐진 레이어를 내주고, 그것을 믹스에 끼워 넣는 작업은 여전히 남아 있으며, 레이어별 출력은 공급사 계획 단계에 머물러 있다.

Mirelo SFX 2.0에서 가장 먼저 작업에 쓸 것은 무엇일까.