Runway zeigt Continuum — ein Projekt, bei dem ein Videomodell die Benutzeroberfläche zeichnet

Runway beendete seinen eintägigen AI Summit in San Francisco mit der Präsentation von Continuum — einem neuen Projekt der Forschungsabteilung Runway Labs. Mitgründer und Co-CEO Cristóbal Valenzuela widmete den Abschlussvortrag der Frage, wie sich generatives Video verändert hat, und stellte das Projekt vor, das Runway Labs als Video-Betriebssystem in Echtzeit bezeichnet. Die vollständigen Aufzeichnungen der Vorträge des Summits will Runway später veröffentlichen.

Technische Details zu Continuum hat das Unternehmen bislang nicht veröffentlicht: Aus der Ankündigung ist nur bekannt, dass es das jüngste Projekt von Runway Labs ist und im Abschlussvortrag gezeigt wurde. Der Summit selbst fand am 30. September im The Masonic statt und war um Weltmodelle, Videogenerierung in Echtzeit, Robotik, physische KI und Regulierung herum aufgebaut — mit Vertretern von NVIDIA, Google DeepMind, Wayve, Physical Intelligence, Adobe, Canva, Salesforce, Roblox, CoreWeave und dem Büro des Gouverneurs von Kalifornien.

Oberfläche ohne Code: Solaris

Separat beschrieb Runway Solaris — das erste Modell einer Familie, die das Unternehmen Interface World Models, „Oberflächen-Weltmodelle“, nennt. Es ist ein interaktives Echtzeitmodell, das die Oberfläche selbst Bild für Bild generiert: Jedes Bild wird im Verlauf der Interaktion synthetisiert, weshalb das Bild fortlaufend auf die Aktionen des Nutzers reagiert. Eine Zwischenrepräsentation — der Code, in den Design üblicherweise übersetzt wird — existiert in diesem Schema nicht, und das gesamte Bild wird zur Oberfläche.

Solaris basiert auf dem Videomodell Gen-4.5, das auf das Verständnis von Interaktion und Antworten in Echtzeit angepasst wurde; das Unternehmen beschreibt es als Fortsetzung der Linie GWM-1, seines allgemeinen Weltmodells. Nutzereingaben interpretiert das Modell als Bedingung für das nächste Bild — genauso wie Text oder ein Bild — und beobachtet Klicks, Ziehbewegungen und andere Aktionen während der Generierung. Parallel arbeitet ein Sprachmodell: Es interpretiert Anfragen, entscheidet, ob die aktuelle Szene geändert oder zu einer neuen gewechselt wird, und formuliert die Prompts, nach denen Solaris jeden Zustand zeichnet. Die Echtzeitfähigkeit setzt sich aus drei Schritten zusammen: autoregressive Bildgenerierung, Destillation des mehrstufigen Entrauschens auf wenige Schritte und Nachtraining des schnellen Modells auf seinen eigenen Ausgaben, damit die Qualität in langen Sitzungen hält.

Runway nennt drei technische Einschränkungen, auf die das Projekt gestoßen ist. Die Interaktivität geht bei etwa einer halben Sekunde Verzögerung verloren, während Diffusions-Videomodelle einen Clip in Sekunden oder Minuten ausgeben. Die Kohärenz muss über die gesamte Sitzung gehalten werden, wobei generatives Video historisch gerade Text, Layout und die Identität von Objekten schlecht gehalten hat und sich kleine Fehler aufsummieren. Die Generierung jedes einzelnen Bildes ist teurer als die Ausgabe einer einmal zusammengesetzten Seite, obwohl dieselbe Optimierung, die Echtzeit ermöglichte, das Modell nach Angaben des Unternehmens um Größenordnungen günstiger gemacht hat als gewöhnliche Videodiffusion. Die genannten Zielwerte sind Echtzeit, Kohärenz über die Sitzung und Bildqualität in 720p.

Zur Begründung des Ansatzes führt Runway eine Messung der „Übersetzungskosten“ an: Multimodale Sprachmodelle, darunter Claude Fable 5, sollten die Oberfläche einer Website anhand eines einzigen Screenshots rekonstruieren, auf einem Satz von 30 Oberflächen — von einfachen Seiten bis zu bildreichen und mit natürlichen Aufnahmen gefüllten. Die Ähnlichkeit wurde über SSIM und über DINOv3-Merkmale bewertet, wobei jeder Bereich des Originals mit dem ähnlichsten Bereich der Rekonstruktion verglichen wurde. Informationen verlieren alle Modelle, die Qualität der Rekonstruktion sinkt mit zunehmender visueller Komplexität, am stärksten leiden natürliche Bilder.

Zu den Szenarien, die das Unternehmen für Solaris beschreibt, gehören ein virtueller Showroom, in dem die Szene die Oberfläche ist, das Zusammenstellen eines Salats durch Ziehen von Zutaten auf einen Teller und eine interaktive Demonstration von Verbrennung mit physikalisch plausiblen Reaktionen. Der zweite Einsatzzweck ist eine Umgebung zum Training von Agenten: Nach dem Argument von Runway kommen Textmodelle mit Computeraufgaben wie der Buchung eines Hotels schlecht zurecht, weil sie sich an ein konkretes Layout binden, während Solaris das Training an Oberflächen erlaubt, die sich ständig ändern.

Warum Videomodelle in die Oberflächen vordringen

Continuum liest sich als Fortsetzung der Linie, die Runway in letzter Zeit aufbaut: Gen-4.5, Weltmodelle, Generierung in Echtzeit. Bezeichnend ist auch der Rahmen des Summits — Weltmodelle, Robotik und physische KI statt Videoschnitt; das sagt über den Wandel der Positionierung nicht weniger aus als der neue Prototyp.

Dahinter steht wahrscheinlich ein einfaches Kalkül. Der Markt für Clip-Generierung ist eng und umkämpft geworden, während ein Videomodell, das eine interaktive Szene in Echtzeit halten kann, den Weg in Felder öffnet, in denen Runway weniger Konkurrenten hat: Simulatoren und Trainingsumgebungen für Agenten und Roboter, Visualisierung, Oberflächen. Setzt sich die Tendenz fort, wird Echtzeit-Generierung mit den gewohnten Verfahren der Bilderzeugung konkurrieren, und die Grenze zwischen Rendering und Generierung wird für Grafikspezialisten zu einer praktischen Frage.

Für Künstler, Modellierer und Entwickler sehen die unmittelbaren Folgen bescheidener aus als die Demonstration: Zugangsbedingungen für Continuum hat das Unternehmen nicht genannt, in eine Pipeline lässt sich das also noch nicht einbauen. Es bleibt auch die Frage der Transparenz: Code kann man lesen und Versionen vergleichen, generierte Pixel nicht. Und der Satz an Einschränkungen, den Runway selbst aufzählt — Geschwindigkeit, Kohärenz, Kosten, Stabilität von Text und Layout —, beschreibt recht genau die Liste der Aufgaben, die gelöst werden muss, bevor generatives Video den Anspruch auf die Rolle eines Arbeitswerkzeugs erheben kann.

Wird ein Videomodell, das die Oberfläche in Echtzeit zeichnet, zum Arbeitswerkzeug — oder bleibt es eine Demo von der Konferenz?