Runway apresentou o Continuum — um projeto em que a interface é desenhada por um modelo de vídeo

A Runway encerrou a sua AI Summit de um dia em San Francisco com a apresentação do Continuum — um novo projeto da sua divisão de investigação Runway Labs. O cofundador e co-CEO da empresa, Cristóbal Valenzuela, dedicou a palestra final à forma como o vídeo generativo foi mudando e apresentou o projeto que a Runway Labs designa por sistema operativo de vídeo em tempo real. A Runway promete publicar mais tarde as gravações completas das intervenções da cimeira.

A empresa ainda não publicou detalhes técnicos sobre o Continuum: do anúncio sabe-se apenas que é o projeto mais recente da Runway Labs e que foi mostrado na palestra de encerramento. A própria cimeira realizou-se no The Masonic a 30 de setembro e foi construída em torno dos modelos do mundo, da geração de vídeo em tempo real, da robótica, da IA física e da regulação — com a participação de representantes da NVIDIA, Google DeepMind, Wayve, Physical Intelligence, Adobe, Canva, Salesforce, Roblox, CoreWeave e do gabinete do governador da Califórnia.

Interface sem código: Solaris

Em separado, a Runway descreveu o Solaris — o primeiro modelo de uma família a que a empresa chama Interface World Models, «modelos do mundo de interface». É um modelo interativo em tempo real que gera a própria interface fotograma a fotograma: cada fotograma é sintetizado ao longo da interação, pelo que a imagem reage continuamente às ações do utilizador. Neste esquema não existe representação intermédia — o código para o qual o design é habitualmente traduzido — e a interface passa a ser o fotograma inteiro.

O Solaris assenta no modelo de vídeo Gen-4.5, adaptado para compreender a interação e responder em tempo real; a empresa descreve-o como continuação da linha GWM-1, o seu modelo do mundo geral. O modelo trata a entrada do utilizador como condição para o fotograma seguinte — tal como o texto ou uma imagem — e observa cliques, arrastamentos e outras ações durante a geração. Em paralelo funciona um modelo de linguagem: interpreta os pedidos, decide se altera a cena atual ou se passa a uma nova e formula as indicações a partir das quais o Solaris desenha cada estado. O tempo real é montado a partir de três passos: geração autorregressiva de fotogramas, destilação da remoção de ruído multipasso para poucos passos e treino adicional do modelo rápido com as suas próprias saídas, para que a qualidade se mantenha em sessões longas.

A Runway enumera três limitações de engenharia com que o projeto se deparou. A interatividade perde-se por volta de meio segundo de latência, enquanto os modelos de vídeo por difusão produzem um clipe em segundos ou minutos. A coerência tem de ser mantida ao longo de toda a sessão, sendo que foram precisamente o texto, a maquetação e a identidade dos objetos que o vídeo generativo historicamente manteve mal, e os pequenos erros acumulam-se. Gerar cada fotograma é mais caro do que servir uma página montada uma única vez, embora a mesma otimização que deu o tempo real tenha, segundo a empresa, tornado o modelo ordens de magnitude mais barato do que a difusão de vídeo habitual. As metas anunciadas são tempo real, coerência ao longo da sessão e qualidade de imagem a 720p.

Para fundamentar a abordagem, a Runway apresenta uma medição do «custo da tradução»: pediu-se a modelos de linguagem multimodais, incluindo o Claude Fable 5, que recriassem a interface de um site a partir de uma única captura de ecrã, num conjunto de 30 interfaces — de páginas simples a páginas densas em imagens e com fotografias naturais. A semelhança foi avaliada por SSIM e pelas características do DINOv3, comparando cada região do original com a região mais parecida da reconstrução. Todos os modelos perdem informação, a qualidade da reconstrução desce à medida que a complexidade visual aumenta e as imagens naturais são as mais afetadas.

Entre os cenários que a empresa descreve para o Solaris estão um showroom virtual em que a cena é a interface, a montagem de uma salada arrastando ingredientes para um prato e uma demonstração interativa de combustão com reações fisicamente plausíveis. A segunda utilização é como ambiente para treinar agentes: segundo o argumento da Runway, os modelos de texto lidam mal com tarefas de computador como reservar um hotel porque se fixam numa maquetação concreta, enquanto o Solaris permite treinar em interfaces que mudam constantemente.

Por que razão os modelos de vídeo avançam para as interfaces

O Continuum lê-se como a continuação da linha que a Runway tem vindo a construir ultimamente: Gen-4.5, modelos do mundo, geração em tempo real. O enquadramento da cimeira também é revelador — modelos do mundo, robótica e IA física, e não montagem de vídeos; isso diz tanto sobre a mudança de posicionamento como o novo protótipo.

Por trás disto está provavelmente um cálculo simples. O mercado da geração de clipes tornou-se apertado e competitivo, enquanto um modelo de vídeo capaz de manter uma cena interativa em tempo real abre a saída para territórios onde a Runway tem menos adversários: simuladores e ambientes de treino para agentes e robôs, visualização, interfaces. Se a tendência continuar, a geração em tempo real começará a competir com as formas habituais de desenhar um fotograma, e a fronteira entre renderização e geração tornar-se-á uma questão prática para os especialistas em gráficos.

Para artistas, modeladores e desenvolvedores, as consequências imediatas parecem mais modestas do que a demonstração: a empresa não indicou as condições de acesso ao Continuum, pelo que, por agora, não é possível integrá-lo num pipeline. Fica também a questão da transparência: o código pode ser lido e as versões comparadas; os píxeis gerados, não. E o conjunto de limitações que a própria Runway enumera — velocidade, coerência, custo, estabilidade do texto e da maquetação — descreve com bastante precisão a lista de tarefas que terá de ser resolvida antes de o vídeo generativo aspirar ao papel de ferramenta de trabalho.

Um modelo de vídeo que desenha a interface em tempo real tornar-se-á uma ferramenta de trabalho — ou ficará como uma demonstração de conferência?