Runway sonoriza vídeo sem tocar nos diálogos

A Runway ligou à sua plataforma o Mirelo SFX 2.0 — um modelo que constrói a faixa de som a partir da imagem: lê a ação, o timing e a acústica da cena, coloca passos, impactos, foley e ambiente conforme o que acontece no plano e, ao mesmo tempo, preserva a fala do clipe. A Mirelo lançou a versão 2.0 a 14 de outubro de 2026, e a Runway anunciou a sua chegada dois dias depois.

Para o pipeline de vídeo generativo, isto fecha um elo fraco. A imagem é montada com modelos, mas o som continua a ser trabalho manual: o montador leva o clipe para o Premiere Pro ou o DaVinci Resolve e procura, corta e alinha à mão os efeitos de biblioteca. A Mirelo propõe fazer essa passagem automaticamente — sobre uma montagem já pronta, sem regenerar o vídeo.

A fala revelou-se mais difícil do que os próprios efeitos

O principal problema do desenho de som automático não é sintetizar o ruído dos passos, mas não atropelar a fala já gravada: as ferramentas automáticas de SFX costumam colocar a camada gerada por cima do diálogo. O Mirelo SFX 2.0 identifica a fala no clipe e preserva-a na faixa final, limpando o restante áudio não dialogado — incluindo a música que o modelo de vídeo acrescentou por si — e constrói os novos efeitos em torno das falas, tratando também do ducking.

A preservação da fala está ativada por omissão nos pedidos video-to-SFX; pode ser desligada se forem precisos apenas efeitos. Não existe um interruptor separado para «remover a música» — a eliminação do áudio não dialogado está inscrita na própria lógica do modelo.

O que o modelo sabe fazer e onde estão os seus limites

O modelo foi lançado em três variantes:

• video-to-sound — o modo principal: uma única camada de som coerente, sincronizada com o vídeo e construída em torno da fala existente.
• text-to-sound — quando não é necessária sincronia com o plano (por exemplo, ambiente) ou é preciso acrescentar som fora de campo, alinhado depois à mão.
• stem — geração de um som sincronizado por vez, para montar a mistura camada a camada; o modo foi anunciado como estando em preparação.

Através do Mirelo Studio e da API, o limite máximo são 10 minutos de vídeo; a empresa afirma que o som mantém a coerência ao longo de toda essa duração e não se desfaz nas fronteiras dos cortes, pelo que não é preciso partir a montagem pronta em fragmentos curtos. Para material mais longo, propõe-se um plano empresarial sob consulta.

Quão melhor é isto do que o que já existe

A Mirelo publicou os resultados de uma comparação cega: 25 ouvintes recrutados por cada par, 30 clipes, escolha entre duas faixas pela qualidade de som e pela adequação ao que acontece no ecrã, com a opção «empate». Os ouvintes foram recrutados numa plataforma de crowdsourcing, com seleção prévia pela precisão em testes de áudio. Segundo estes dados, o SFX 2.0 foi preferido à faixa da Sony Woosh em 81% dos casos, ao Kling Foley em 63% e ao Sonilo em 46%. Na comparação com o som que os próprios modelos de vídeo geram, a diferença é menor: Veo 3.1 Fast — 57%, MiniMax H3 Max — 49%, Flux 3 — 48%, Seedance 2.5 — 47%, Kling — 45%. O teste foi conduzido pelo próprio fornecedor e não há ainda medições independentes, pelo que os números devem ser lidos como uma afirmação da empresa e não como uma medição externa.

Onde obter

Além do Runway e do fal, o Mirelo SFX 2.0 está disponível no playground e no editor próprios da empresa, através de API e MCP, e ainda em plugins para o Adobe Premiere Pro e o DaVinci Resolve; a versão para Roblox foi anunciada como estando em preparação. As restantes plataformas, promete a empresa, serão ligadas mais tarde.

Porque é que a Runway recorre a um modelo alheio para o som

Uma plataforma com geração de áudio própria acrescenta uma de terceiros. A Runway tem ferramentas próprias para som e modelos de vídeo que devolvem áudio de forma nativa, mas todos partem do prompt ou da sua própria geração de vídeo, enquanto a Mirelo trabalha a partir do plano já pronto — incluindo aquele que veio de um modelo alheio ou de uma câmara. Para uma plataforma que vai ligando metodicamente modelos de parceiros, é um complemento lógico: o som deixa de ser subproduto do gerador de vídeo e passa a ser uma camada separada, que se pode refazer sem tocar na imagem.

Por trás disto entrevê-se uma mudança mais ampla. Enquanto os modelos de vídeo aprendiam a devolver o som logo com a imagem, parte da indústria apostava no contrário — em modelos especializados para a camada de áudio, que trabalham já depois da montagem. A lógica de ambos os lados converge no mesmo ponto: dividir o clipe generativo em camadas controláveis em vez de um único resultado indecomponível. A própria Mirelo aponta explicitamente a este mercado — a sua API é vendida a equipas que constroem agentes de vídeo e plataformas de vídeo generativo.

Conclusão prática: a parte rotineira da sonorização — o foley de rascunho e o ambiente sob uma montagem pronta — passa a ser assunto de uma só passagem. Provavelmente isto pressiona sobretudo as bibliotecas de efeitos de stock e os prestadores em tarefas simples. Ganham os montadores e as equipas pequenas, que antes tinham de escolher entre o silêncio e a música alheia. O trabalho de engenharia de som mantém-se, no entanto: o modelo entrega uma camada somada, que ainda terá de ser encaixada na mistura, e a saída por camadas está, por agora, apenas nos planos do fornecedor.

O que levarão primeiro do Mirelo SFX 2.0 para o trabalho?

• Remoção de música sem perder a fala
• Foley conforme a imagem