Viggle abre los pesos de Remake, su agente de vídeo para sustituir personajes

La compañía Viggle AI ha lanzado Viggle Remake, un agente para reelaborar vídeo ya rodado. Sustituye a todos los personajes de la escena, cambia objetos y el fondo, reestiliza la imagen y añade efectos visuales en clips de hasta dos minutos de duración. Al mismo tiempo, la compañía ha publicado los pesos del modelo en acceso abierto, así que además del servicio en la nube está disponible el propio modelo.

El precio mínimo en la nube es de 0,96 $ por 10 segundos de vídeo a resolución 720p. Con esa tarifa, un minuto sale por unos 5,76 $, y un clip de la duración máxima de dos minutos, por unos 11,52 $. Viggle AI afirma que es menos de la mitad del precio de Higgsfield Genjutsu.

Qué sabe hacer el agente

A juzgar por el anuncio, Remake está pensado para las tareas habituales de reelaboración del material rodado:

• Sustitución de todos los personajes de la escena. La compañía promete que los nuevos personajes se mantienen coherentes entre los cortes de montaje. Para una escena de diálogo montada a partir de un plano general y primeros planos, esa es la condición clave: de lo contrario, el personaje cambiará de un plano a otro.
• Sustitución de objetos y del fondo. Se puede reemplazar un objeto del plano o trasladar la acción a otra localización.
• Reestilización y VFX. El clip se puede pasar a otro estilo visual o añadirle efectos.
• Ajuste en diálogo. Se le puede seguir escribiendo al agente hasta que un plano concreto quede como hace falta.

El último punto la compañía lo formula así:

«Sigue hablando con el agente para corregir cualquier plano hasta que quede como debe».
— Viggle AI

En qué se diferencia de las herramientas anteriores de Viggle

Viggle ya tiene herramientas de animación independientes con tareas más estrechas. Mix «mezcla» la imagen de un personaje en un vídeo con movimiento, Multi hace lo mismo con varios personajes a la vez y Motion Control da vida a una imagen estática a partir del movimiento de un clip. Funcionan por créditos, y un crédito cubre 15 segundos de animación.

Con estas herramientas ya se ha hecho contenido serializado. El autor Mr. WAS, según cuenta el blog de Viggle, hizo una serie de cinco episodios y usó Mix para los planos más importantes, los primeros planos de las escenas de diálogo. Los planos con comida y localizaciones exteriores los hizo en Runway Gen 2. Ese proceso implicaba montar el material a partir de distintos servicios. Remake, a juzgar por la descripción, reúne en una sola herramienta la sustitución de personajes, objetos, fondo y estilo, y admite como entrada una escena de hasta dos minutos con cortes de montaje.

Hasta qué punto es correcta la comparación con Genjutsu

Higgsfield Genjutsu resuelve una tarea parecida: reconstruye parte de un clip sin volver a rodar. Tiene dos modos. Motion Transfer toma el movimiento de un vídeo y construye una escena nueva a su alrededor. Object Swap sustituye el elemento indicado y deja intacto el resto del plano. Como se describe en la guía de Higgsfield, por generación el servicio admite un clip de hasta 30 segundos y hasta 30 fotos de referencia, y devuelve el resultado con una resolución de hasta 1080p. El prompt no es obligatorio: el trabajo se puede hacer con presets. También hay una versión aligerada, Genjutsu Lite, igualmente de hasta 30 segundos, en 720p o 1080p.

En duración Remake gana por cuatro veces: dos minutos frente a 30 segundos por generación. Con el precio es más complicado. Viggle ha indicado el coste solo para 720p, y Genjutsu también entrega 1080p. La compañía no ha facilitado tarifas de Remake para resoluciones más altas, por lo que la afirmación de un precio inferior a la mitad del de Genjutsu solo tiene sentido comprobarla para una salida comparable en 720p.

Qué se desconoce por ahora

Los pesos abiertos están disponibles en el enlace de la publicación, y la versión en la nube se lanza aquí. En el anuncio falta lo principal para un estudio que quiera instalar el modelo en sus instalaciones: la licencia de los pesos, las condiciones de uso comercial y los requisitos de tarjeta gráfica. Tampoco se revela cómo exactamente el agente mantiene al personaje entre cortes ni dónde se rompe ese mecanismo.

Según nuestra valoración, de esas respuestas depende a quién le vendrá bien Remake de verdad. A los autores de clips cortos y de contenido para redes sociales probablemente les baste la nube con pago por segundos. A los estudios de posproducción y los equipos de VFX, que no pueden enviar el material del cliente a un servicio externo, los pesos abiertos les interesan por la posibilidad de ejecutarlos en local. Mientras no se conozca la licencia, es arriesgado incorporar el modelo a un pipeline comercial. Queda abierta también la cuestión de la calidad en primeros planos a 1080p y superiores, donde los errores de sustitución del personaje son más visibles.

¿Por qué Viggle ha abierto los pesos de Remake: presión de los competidores abiertos, apuesta por la comunidad de desarrolladores, lucha por la cuota de mercado?