Runway troca atores em vídeo já filmado sem nova filmagem

A Runway acrescentou ao App Studio a aplicação Character Swap: substitui a personagem ou o local da ação num vídeo já filmado, deixando intacto o movimento original. O som pode ser mantido do original, transferido para a nova cena ou substituído.

Para a produção, isto transfere o recasting do estúdio de filmagem para a pós-produção. A cena já está interpretada; muda apenas quem está nela e onde isso acontece. A Runway nomeia diretamente o cenário para o qual a aplicação foi feita: lançar versões de um mesmo vídeo para mercados diferentes, com o ator adequado a cada um, ou recompor uma cena sem organizar nova filmagem. Na descrição das capacidades do App Studio figura a substituição de produtos ou personagens para duas dezenas de mercados e SKU sem voltar a renderizar o vídeo.

O que o utilizador define

A nova personagem define-se com uma imagem ou com uma descrição em texto. Segundo a descrição oficial, a aplicação recompõe o vídeo de origem com a nova personagem, apoiando-se num fotograma-chave construído a partir de um mapa de profundidade e no modelo de vídeo Seedance 2.5. O mapa de profundidade é aqui o responsável por preservar a geometria da cena e a composição, enquanto a geração em si é conduzida por um modelo externo e não pela gama própria da Runway.

As aplicações mudaram-se para um novo invólucro

O antigo catálogo Runway Apps mudou-se para o App Studio: segundo a empresa, os utilizadores não têm de fazer nada — as aplicações podem ser usadas como antes ou qualquer uma delas recomposta numa versão própria. A Character Swap consta entre as aplicações integradas que a Runway lançou juntamente com o App Studio, ao lado de Precise Edit, AutoComp, Product Portfolio, 3D Camera Control e Runway Pro.

O App Studio é um construtor em que o utilizador descreve por palavras a ferramenta de que precisa e a própria plataforma escreve, testa e aloja a aplicação com uma interface própria; o código fica disponível para consulta. Lá dentro estão disponíveis os modelos da Runway para imagem, vídeo e som, bem como Brand Kits, Workflows, assets e referências do espaço de trabalho. Uma cadeia já pronta de uma sessão de agente ou de um workflow transforma-se em aplicação com uma única ação: o prompt, o conjunto de modelos e as configurações ficam fixados e, para fora, restam apenas os campos necessários.

O sentido desse empacotamento é claro para quem já geriu um pipeline. A receita que produz o resultado desejado costuma estar guardada nos prompts e nas configurações de uma só pessoa. A aplicação transforma-a numa ferramenta para toda a equipa, e a atualização do workflow, das referências ou do Brand Kit reflete-se nos novos resultados.

Paga quem carrega no botão

O próprio App Studio está incluído em todos os planos pagos, sem compra separada nem valor adicional, mas montar, executar e alojar aplicações consome créditos do saldo existente da conta. Cada aplicação mostra o seu próprio consumo, para que seja possível acompanhar os gastos por aplicação e por espaço de trabalho. Uma conta gratuita executa as aplicações integradas e aquelas que lhe foram partilhadas; para montar as próprias é necessário um plano pago. Se a aplicação for publicada através de um link aberto, o visitante paga as suas próprias gerações e o proprietário paga apenas a montagem, as suas execuções e o alojamento. Character Swap pode ser aberta a partir do catálogo de aplicações integradas do App Studio.

O acesso está organizado com o mesmo detalhe: a aplicação é privada até o autor a partilhar, as equipas e os clientes empresariais podem abri-la a pessoas concretas, a um projeto ou a todo o espaço de trabalho, e os administradores veem a utilização e controlam se os links públicos são permitidos. Os modelos desativados na consola de administração também não estão disponíveis dentro das aplicações.

A Runway vende a montagem, não apenas o modelo

Uma empresa que construiu a sua reputação com os seus próprios modelos generativos coloca no seu próprio catálogo uma aplicação em que a geração é feita pelo Seedance 2.5. Nesta lógica, o produto passa a ser o conjunto: pré-processamento, interface, permissões de acesso, alojamento e faturação.

O que verificar com material real

A aplicação transfere o movimento do original tal como está — o que é, ao mesmo tempo, o seu ponto forte e a sua limitação: as particularidades da filmagem permanecem no plano juntamente com a nova personagem. Pelo vídeo de demonstração não é possível avaliar como a Character Swap aguenta um plano longo; isso terá de ser verificado com material próprio.

Porque é que estas ferramentas aparecem precisamente agora

A substituição de personagens em vídeo pronto tornou-se, no último ano, uma categoria de produto própria: há funções semelhantes tanto em serviços especializados como em montagens sobre modelos de vídeo abertos. A diferença entre eles depende cada vez menos da qualidade da geração e cada vez mais de quão previsivelmente a ferramenta se integra no dia de trabalho. Daí a forma que a Runway escolheu: uma aplicação estreita, com alguns campos, permissões de acesso e contabilização do consumo de créditos.

Se a tendência continuar, os primeiros a sentir as mudanças serão quem faz localização de publicidade e versões multilingues de vídeos: aí, voltar a filmar só para mudar de ator foi sempre a rubrica mais caraetiqueta do orçamento. Depois, a questão passará provavelmente para o plano jurídico — direitos sobre a imagem e a voz do intérprete, consentimento para o recasting, identificação das versões geradas.

Confiaria à Character Swap a substituição de um ator onde antes se fazia rotoscopia e tracking à mão? O que teria de acontecer para lhe entregar um projeto real?