Runway presenta Continuum, un proyecto en el que la interfaz la dibuja un modelo de vídeo

Runway cerró su AI Summit de un solo día en San Francisco con la presentación de Continuum, un nuevo proyecto de su división de investigación Runway Labs. El cofundador y co-CEO de la compañía, Cristóbal Valenzuela, dedicó la charla final a cómo ha ido cambiando el vídeo generativo y presentó el proyecto que Runway Labs denomina sistema operativo de vídeo en tiempo real. Runway promete publicar más adelante las grabaciones completas de las ponencias de la cumbre.

La compañía todavía no ha publicado detalles técnicos sobre Continuum: por el anuncio solo se sabe que es el último proyecto de Runway Labs y que se mostró en la charla de cierre. La cumbre se celebró en The Masonic el 30 de septiembre y se organizó en torno a los modelos del mundo, la generación de vídeo en tiempo real, la robótica, la IA física y la regulación, con la participación de representantes de NVIDIA, Google DeepMind, Wayve, Physical Intelligence, Adobe, Canva, Salesforce, Roblox, CoreWeave y la oficina del gobernador de California.

Una interfaz sin código: Solaris

Por separado, Runway describió Solaris, el primer modelo de una familia que la compañía llama Interface World Models, «modelos del mundo de interfaz». Es un modelo interactivo en tiempo real que genera la propia interfaz fotograma a fotograma: cada fotograma se sintetiza a medida que avanza la interacción, por lo que la imagen reacciona de forma continua a las acciones del usuario. En este esquema no hay representación intermedia —el código al que habitualmente se traduce el diseño— y la interfaz pasa a ser el fotograma completo.

Solaris está construido sobre el modelo de vídeo Gen-4.5, adaptado para entender la interacción y responder en tiempo real; la compañía lo describe como continuación de la línea GWM-1, su modelo del mundo general. El modelo interpreta la entrada del usuario como condición para el siguiente fotograma —igual que el texto o una imagen— y observa clics, arrastres y otras acciones durante la generación. En paralelo trabaja un modelo de lenguaje: interpreta las peticiones, decide si modificar la escena actual o pasar a una nueva y elabora las indicaciones con las que Solaris dibuja cada estado. El tiempo real se compone de tres pasos: generación autorregresiva de fotogramas, destilación del desruido multipaso a unos pocos pasos y reentrenamiento del modelo rápido con sus propias salidas para que la calidad se mantenga en sesiones largas.

Runway enumera tres limitaciones de ingeniería con las que se topó el proyecto. La interactividad se pierde en torno a medio segundo de latencia, mientras que los modelos de vídeo por difusión entregan un clip en segundos o minutos. La coherencia hay que mantenerla a lo largo de toda la sesión, y precisamente el texto, la maquetación y la identidad de los objetos son lo que el vídeo generativo ha sostenido mal históricamente, además de que los errores pequeños se acumulan. Generar cada fotograma es más caro que servir una página montada una sola vez, aunque la misma optimización que dio el tiempo real ha hecho, según la compañía, que el modelo sea órdenes de magnitud más barato que la difusión de vídeo habitual. Los objetivos declarados son tiempo real, coherencia durante la sesión y calidad de imagen a 720p.

Para justificar el enfoque, Runway aporta una medición del «coste de la traducción»: se pidió a modelos de lenguaje multimodales, entre ellos Claude Fable 5, que recrearan la interfaz de un sitio a partir de una sola captura de pantalla, sobre un conjunto de 30 interfaces, desde páginas simples hasta otras cargadas de imágenes y de fotografías naturales. La similitud se evaluó con SSIM y con rasgos de DINOv3, comparando cada región del original con la región más parecida de la reconstrucción. Todos los modelos pierden información, la calidad de la reconstrucción cae a medida que crece la complejidad visual y lo que más se resiente son las imágenes naturales.

Entre los escenarios que la compañía describe para Solaris están un showroom virtual en el que la escena es la propia interfaz, el montaje de una ensalada arrastrando ingredientes a un plato y una demostración interactiva de combustión con reacciones físicamente plausibles. El segundo uso es como entorno para entrenar agentes: según el argumento de Runway, los modelos de texto se desenvuelven mal en tareas de ordenador como reservar un hotel porque se atan a una maquetación concreta, mientras que Solaris permite entrenar con interfaces que cambian constantemente.

Por qué los modelos de vídeo se adentran en las interfaces

Continuum se lee como la continuación de la línea que Runway viene construyendo últimamente: Gen-4.5, modelos del mundo, generación en tiempo real. También es revelador el marco de la cumbre: modelos del mundo, robótica e IA física, y no montaje de vídeos; eso dice tanto del cambio de posicionamiento como el nuevo prototipo.

Detrás hay probablemente un cálculo sencillo. El mercado de la generación de clips se ha vuelto estrecho y competitivo, mientras que un modelo de vídeo capaz de sostener una escena interactiva en tiempo real abre la salida hacia terrenos en los que Runway tiene menos rivales: simuladores y entornos de entrenamiento para agentes y robots, visualización, interfaces. Si la tendencia continúa, la generación en tiempo real empezará a competir con las formas habituales de dibujar un fotograma, y la frontera entre renderizado y generación se convertirá en una cuestión práctica para los especialistas en gráficos.

Para artistas, modeladores y desarrolladores, las consecuencias inmediatas parecen más modestas que la demostración: la compañía no ha indicado las condiciones de acceso a Continuum, así que por ahora no hay manera de integrarlo en un pipeline. Queda también la cuestión de la transparencia: el código se puede leer y se pueden comparar versiones; los píxeles generados, no. Y el conjunto de limitaciones que Runway enumera por su cuenta —velocidad, coherencia, coste, estabilidad del texto y de la maquetación— describe con bastante precisión la lista de tareas que habrá que resolver antes de que el vídeo generativo aspire al papel de herramienta de trabajo.

¿Se convertirá en herramienta de trabajo un modelo de vídeo que dibuja la interfaz en tiempo real, o quedará como una demo de congreso?