Viggle abriu os pesos do Remake, agente de vídeo para substituir personagens

A empresa Viggle AI lançou o Viggle Remake, um agente para reelaborar vídeo já filmado. Substitui todas as personagens da cena, muda objetos e o fundo, reestiliza a imagem e acrescenta efeitos visuais em vídeos com até dois minutos de duração. Ao mesmo tempo, a empresa disponibilizou os pesos do modelo em acesso aberto, pelo que, além do serviço na nuvem, está disponível o próprio modelo.

O preço mínimo na nuvem é de 0,96 $ por 10 segundos de vídeo em resolução 720p. Com esta tarifa, um minuto fica por cerca de 5,76 $ e um vídeo com a duração máxima de dois minutos por cerca de 11,52 $. A Viggle AI afirma que isto é menos de metade do preço do Higgsfield Genjutsu.

O que o agente sabe fazer

A julgar pelo anúncio, o Remake está pensado para as tarefas habituais de reelaboração do material filmado:

• Substituição de todas as personagens da cena. A empresa promete que as novas personagens se mantêm coerentes entre os cortes de montagem. Para uma cena de diálogo montada a partir de um plano geral e de planos aproximados, esta é a condição determinante: caso contrário, a personagem muda de plano para plano.
• Substituição de objetos e do fundo. É possível trocar um objeto no plano ou transferir a ação para outra localização.
• Reestilização e VFX. O vídeo pode ser convertido para outro estilo visual ou receber efeitos.
• Acabamento em diálogo. Pode continuar a escrever ao agente até que um plano concreto fique como é preciso.

O último ponto a empresa formula-o assim:

«Continue a falar com o agente para corrigir qualquer plano até que fique como deve ser».
— Viggle AI

Em que isto difere das ferramentas anteriores da Viggle

A Viggle já tem ferramentas de animação separadas, com tarefas mais restritas. O Mix «mistura» a imagem de uma personagem num vídeo com movimento, o Multi faz o mesmo para várias personagens de uma vez e o Motion Control dá vida a uma imagem estática a partir do movimento de um vídeo. Funcionam por créditos, e um crédito cobre 15 segundos de animação.

Com estas ferramentas já se fez conteúdo em formato de série. O autor Mr. WAS, como conta o blogue da Viggle, fez uma série de cinco episódios e usou o Mix para os planos mais importantes, os planos aproximados das cenas de diálogo. Os planos com comida e localizações exteriores fez-os no Runway Gen 2. Um processo assim significava juntar o material de serviços diferentes. O Remake, a julgar pela descrição, reúne numa só ferramenta a substituição de personagens, objetos, fundo e estilo, e aceita como entrada uma cena com até dois minutos de duração e com cortes de montagem.

Até que ponto a comparação com o Genjutsu é correta

O Higgsfield Genjutsu resolve uma tarefa semelhante: reconstrói parte de um clipe sem nova filmagem. Tem dois modos. O Motion Transfer retira o movimento do vídeo e constrói em torno dele uma cena nova. O Object Swap substitui o elemento indicado e deixa intacto o resto do plano. Como se descreve no guia da Higgsfield, por cada geração o serviço aceita um vídeo de até 30 segundos e até 30 fotografias de referência, e devolve o resultado em resolução até 1080p. O prompt não é obrigatório, o trabalho pode ser feito com presets. Existe também uma versão mais leve, o Genjutsu Lite, também até 30 segundos, em 720p ou 1080p.

Na duração, o Remake ganha por quatro vezes: dois minutos contra 30 segundos por geração. Com o preço é mais complicado. A Viggle indicou o custo apenas para 720p, e o Genjutsu também entrega 1080p. A empresa não apresentou tarifas do Remake para resoluções mais altas, pelo que a afirmação de um preço inferior a metade do do Genjutsu só faz sentido verificar para uma saída comparável em 720p.

O que ainda se desconhece

Os pesos abertos estão disponíveis no link da publicação, e a versão na nuvem arranca aqui. No anúncio falta o essencial para um estúdio que queira instalar o modelo nas suas máquinas: a licença dos pesos, as condições de uso comercial e os requisitos de placa gráfica. Também não foi revelado como exatamente o agente mantém a personagem entre os cortes e onde esse mecanismo falha.

Na nossa avaliação, destas respostas depende a quem o Remake será realmente útil. Aos autores de vídeos curtos e de conteúdo para redes sociais provavelmente basta a nuvem com pagamento ao segundo. Aos estúdios de pós-produção e às equipas de VFX, que não podem enviar o material do cliente para um serviço externo, os pesos abertos interessam pela possibilidade de execução local. Enquanto a licença não for conhecida, é arriscado incluir o modelo num pipeline comercial. Fica em aberto também a questão da qualidade em planos aproximados a 1080p e acima, onde os erros de substituição da personagem são mais visíveis.

Porque é que a Viggle abriu os pesos do Remake: pressão dos concorrentes abertos, aposta na comunidade de desenvolvedores, luta por quota de mercado?