Runway vertont Videos, ohne Dialoge anzutasten

Runway hat Mirelo SFX 2.0 an seine Plattform angebunden — ein Modell, das die Tonspur anhand des Bildes aufbaut: Es liest Handlung, Timing und Akustik der Szene, setzt Schritte, Einschläge, Foley und Ambience passend zum Geschehen im Bild und erhält dabei die Sprache im Clip. Mirelo hat Version 2.0 am 14. Oktober 2026 veröffentlicht, Runway gab deren Verfügbarkeit zwei Tage später bekannt.

Für die generative Videopipeline schließt das eine Schwachstelle. Das Bild wird mit Modellen gebaut, der Ton bleibt Handarbeit: Der Cutter zieht den Clip nach Premiere Pro oder DaVinci Resolve und sucht, beschneidet und justiert Bibliothekseffekte manuell. Mirelo bietet an, diesen Durchgang automatisch zu erledigen — auf dem fertigen Schnitt, ohne das Video neu zu generieren.

Die Sprache erwies sich als schwieriger als die Effekte selbst

Das Hauptproblem des automatischen Sounddesigns ist nicht die Synthese von Schrittgeräuschen, sondern die bereits aufgenommene Sprache nicht zu übertönen: Automatische SFX-Werkzeuge legen die generierte Schicht üblicherweise über den Dialog. Mirelo SFX 2.0 erkennt die Sprache im Clip und erhält sie in der endgültigen Spur, während der übrige nicht-dialogische Ton entfernt wird — einschließlich der Musik, die das Videomodell selbst hinzugefügt hat — und baut die neuen Effekte um die Sprechpassagen herum auf, inklusive Ducking.

Der Spracherhalt ist bei Video-to-SFX-Anfragen standardmäßig aktiviert; er lässt sich abschalten, wenn nur Effekte gebraucht werden. Einen separaten Schalter „Musik entfernen“ gibt es nicht — das Entfernen des nicht-dialogischen Tons steckt in der Logik des Modells selbst.

Was das Modell kann und wo seine Grenzen liegen

Das Modell ist in drei Varianten erschienen:

• video-to-sound — der Hauptmodus: eine zusammenhängende Tonschicht, synchron zum Video und um die vorhandene Sprache herum aufgebaut.
• text-to-sound — wenn keine Synchronität zum Bild nötig ist (etwa Ambience) oder Ton außerhalb des Bildes ergänzt werden soll, der anschließend manuell ausgerichtet wird.
• stem — Generierung jeweils eines synchronen Geräuschs, um den Mix schichtweise aufzubauen; der Modus ist als in Vorbereitung angekündigt.

Über Mirelo Studio und die API liegt die Obergrenze bei 10 Minuten Video; das Unternehmen gibt an, dass der Ton über diese gesamte Länge zusammenhängend bleibt und an Schnittgrenzen nicht auseinanderfällt, sodass der fertige Schnitt nicht in kurze Fragmente zerlegt werden muss. Für längeres Material wird ein Unternehmenstarif auf Anfrage angeboten.

Wie viel besser ist das als das Bestehende

Mirelo hat die Ergebnisse eines Blindvergleichs veröffentlicht: je 25 angeworbene Hörer pro Paarung, 30 Clips, Wahl zwischen zwei Spuren nach Klangqualität und Passung zum Geschehen auf dem Bildschirm, mit der Option „unentschieden“. Die Hörer wurden auf einer Crowdsourcing-Plattform mit Vorauswahl nach Treffsicherheit in Audiotests rekrutiert. Diesen Daten zufolge wurde SFX 2.0 in 81 % der Fälle der Spur von Sony Woosh vorgezogen, Kling Foley in 63 %, Sonilo in 46 %. Im Vergleich zum Ton, den Videomodelle selbst generieren, ist der Abstand geringer: Veo 3.1 Fast — 57 %, MiniMax H3 Max — 49 %, Flux 3 — 48 %, Seedance 2.5 — 47 %, Kling — 45 %. Der Test wurde vom Anbieter selbst durchgeführt, unabhängige Messungen liegen bislang nicht vor, die Zahlen sind also als Angabe des Unternehmens und nicht als externe Messung zu verstehen.

Wo es zu haben ist

Neben Runway und fal ist Mirelo SFX 2.0 im eigenen Playground und Editor des Unternehmens verfügbar, über API und MCP sowie als Plugin für Adobe Premiere Pro und DaVinci Resolve; eine Version für Roblox wurde als in Vorbereitung angekündigt. Die übrigen Plattformen will das Unternehmen später anbinden.

Warum Runway ein fremdes Modell für den Ton nimmt

Eine Plattform mit eigener Audiogenerierung ergänzt eine fremde. Runway hat eigene Werkzeuge für Ton und Videomodelle, die Audio nativ ausgeben, doch sie alle gehen vom Prompt oder von der eigenen Videogenerierung aus, während Mirelo vom fertigen Bild ausgeht — auch von einem, das aus einem fremden Modell oder von der Kamera kommt. Für eine Plattform, die methodisch Partnermodelle anbindet, ist das eine logische Ergänzung: Ton ist nicht mehr Nebenprodukt des Videogenerators, sondern wird eine eigene Schicht, die man neu machen kann, ohne das Bild anzutasten.

Dahinter zeichnet sich eine breitere Verschiebung ab. Während Videomodelle lernten, den Ton gleich mit dem Bild auszugeben, setzte ein Teil der Branche auf das Gegenteil — auf spezialisierte Modelle für die Audioschicht, die erst nach dem Schnitt arbeiten. Die Logik beider Seiten läuft auf denselben Punkt zu: die Aufteilung des generativen Clips in steuerbare Schichten statt einer unzerlegbaren Ausgabe. Mirelo selbst zielt ausdrücklich auf diesen Markt — die API wird Teams verkauft, die Videoagenten und videogenerative Plattformen bauen.

Das praktische Ergebnis: Der Routineteil der Vertonung — rohes Foley und Ambience für den fertigen Schnitt — wird zur Sache eines einzigen Durchgangs. Am stärksten dürfte das Stock-Effektbibliotheken und Dienstleister bei einfachen Aufgaben treffen. Gewinner sind Cutter und kleine Teams, die früher zwischen Stille und fremder Musik wählen mussten. Die Arbeit des Tonmeisters bleibt dabei bestehen: Das Modell liefert eine summierte Schicht, die noch in den Mix einzupassen ist, und die schichtweise Ausgabe ist beim Anbieter bislang nur geplant.

Was aus Mirelo SFX 2.0 nehmen Sie zuerst in die Arbeit mit?

• Musikentfernung ohne Verlust der Sprache
• Bildgenaues Foley