Viggle legt die Gewichte des Video-Agenten Remake für den Figurentausch offen

Das Unternehmen Viggle AI hat Viggle Remake veröffentlicht, einen Agenten zur Überarbeitung von bereits gedrehtem Video. Er tauscht alle Figuren in der Szene aus, verändert Objekte und Hintergrund, stilisiert das Bild neu und fügt in Clips von bis zu zwei Minuten Länge visuelle Effekte hinzu. Gleichzeitig hat das Unternehmen die Gewichte des Modells öffentlich zugänglich gemacht, sodass neben dem Cloud-Dienst auch das Modell selbst verfügbar ist.

Der Mindestpreis in der Cloud beträgt 0,96 $ für 10 Sekunden Video in einer Auflösung von 720p. Nach diesem Tarif kostet eine Minute etwa 5,76 $ und ein Clip mit der maximalen Länge von zwei Minuten etwa 11,52 $. Viggle AI behauptet, das sei weniger als die Hälfte des Preises von Higgsfield Genjutsu.

Was der Agent kann

Der Ankündigung nach ist Remake auf typische Aufgaben der Überarbeitung von gedrehtem Material ausgelegt:

• Austausch aller Figuren in der Szene. Das Unternehmen verspricht, dass die neuen Figuren über die Schnitte hinweg konsistent bleiben. Für eine Dialogszene, die aus einer Totale und Nahaufnahmen geschnitten ist, ist das die entscheidende Bedingung: andernfalls verändert sich die Figur von Einstellung zu Einstellung.
• Austausch von Objekten und Hintergrund. Man kann einen Gegenstand im Bild ersetzen oder die Handlung an einen anderen Ort verlegen.
• Neue Stilisierung und VFX. Der Clip lässt sich in einen anderen visuellen Stil übertragen oder mit Effekten versehen.
• Nachbesserung im Dialog. Man kann dem Agenten weiter schreiben, bis eine konkrete Einstellung so aussieht, wie sie aussehen soll.

Den letzten Punkt formuliert das Unternehmen so:

„Sprechen Sie weiter mit dem Agenten, um jede Einstellung zu korrigieren, bis sie so ist, wie sie sein soll“.
— Viggle AI

Wodurch sich das von den früheren Werkzeugen von Viggle unterscheidet

Viggle hat bereits einzelne Animationswerkzeuge für enge Aufgaben. Mix „mischt“ das Bild einer Figur in ein Video mit Bewegung, Multi macht dasselbe gleich für mehrere Figuren, und Motion Control belebt ein statisches Bild anhand der Bewegung aus einem Clip. Sie funktionieren über Credits, und ein Credit deckt 15 Sekunden Animation ab.

Mit diesen Werkzeugen wurden schon Serieninhalte gemacht. Der Autor Mr. WAS hat, wie der Blog von Viggle berichtet, eine fünfteilige Serie erstellt und Mix für die wichtigsten Einstellungen genutzt, für Nahaufnahmen in Dialogszenen. Einstellungen mit Essen und Außenlocations hat er in Runway Gen 2 gemacht. Ein solcher Prozess bedeutete, das Material aus verschiedenen Diensten zusammenzusetzen. Remake fasst der Beschreibung nach den Austausch von Figuren, Gegenständen, Hintergrund und Stil in einem Werkzeug zusammen und nimmt als Eingabe eine Szene von bis zu zwei Minuten Länge mit Schnitten an.

Wie korrekt der Vergleich mit Genjutsu ist

Higgsfield Genjutsu löst eine ähnliche Aufgabe: Es baut einen Teil des Clips ohne Nachdreh um. Es hat zwei Modi. Motion Transfer übernimmt die Bewegung aus dem Video und baut darum eine neue Szene. Object Swap ersetzt das angegebene Element und lässt den übrigen Bildinhalt unberührt. Wie im Leitfaden von Higgsfield beschrieben, nimmt der Dienst pro Generierung einen Clip von bis zu 30 Sekunden und bis zu 30 Referenzfotos an und liefert das Ergebnis in einer Auflösung von bis zu 1080p. Ein Prompt ist nicht zwingend, die Arbeit lässt sich mit Presets erledigen. Es gibt auch eine abgespeckte Version Genjutsu Lite, ebenfalls bis zu 30 Sekunden, in 720p oder 1080p.

Bei der Länge gewinnt Remake um das Vierfache: zwei Minuten gegen 30 Sekunden pro Generierung. Beim Preis ist es komplizierter. Viggle hat die Kosten nur für 720p genannt, Genjutsu liefert auch 1080p. Tarife von Remake für eine höhere Auflösung hat das Unternehmen nicht angeführt, deshalb lässt sich die Aussage über einen Preis von weniger als der Hälfte von Genjutsu sinnvoll nur für eine vergleichbare Ausgabe in 720p überprüfen.

Was bislang unbekannt ist

Die offenen Gewichte sind über den Link aus dem Beitrag verfügbar, die Cloud-Version startet man hier. In der Ankündigung fehlt das Wichtigste für ein Studio, das das Modell bei sich betreiben will: die Lizenz der Gewichte, die Bedingungen der kommerziellen Nutzung und die Anforderungen an die Grafikkarte. Ebenfalls nicht offengelegt ist, wie genau der Agent eine Figur über die Schnitte hinweg hält und wo dieser Mechanismus versagt.

Nach unserer Einschätzung hängt von diesen Antworten ab, wem Remake tatsächlich nützt. Autoren kurzer Clips und von Inhalten für soziale Netzwerke dürfte die Cloud mit sekundenweiser Bezahlung genügen. Für Postproduktionsstudios und VFX-Teams, die Material ihrer Kunden nicht an einen externen Dienst schicken dürfen, sind die offenen Gewichte durch die Möglichkeit des lokalen Betriebs interessant. Solange die Lizenz nicht bekannt ist, ist es riskant, das Modell in eine kommerzielle Pipeline einzuplanen. Offen bleibt auch die Frage der Qualität bei Nahaufnahmen in 1080p und höher, wo Fehler beim Figurentausch am stärksten auffallen.

Warum hat Viggle die Gewichte von Remake offengelegt: Druck offener Konkurrenten, Wette auf die Entwickler-Community, Kampf um Marktanteile?