UNOMis KI-Lipsync kommt zu Blender und versteht Russisch

Das Unternehmen UNOMi hat eine Version seines KI-Lipsync für Blender veröffentlicht. Bisher existierte das Plug-in zur automatischen Sprachanimation nur für Autodesk Maya und Cinema 4D, während die Unterstützung von Blender und Unreal Engine auf der Website des Entwicklers als Zukunftsmusik aufgeführt war. Eines von zwei Versprechen ist nun eingelöst.

Das Arbeitsschema bleibt gleich: Der Animator übergibt dem Plug-in die Tonspur der Replik und deren Text, das Plug-in analysiert die Sprache und setzt Keys auf die vorab modellierten Mundposen. Das manuelle Verteilen der Phoneme auf der Timeline entfällt aus der Pipeline, anschließend korrigiert der Künstler das Ergebnis selbst. Darauf baut der Entwickler sein Argument: die Produktion beschleunigen und die Kontrolle beim Animator lassen.

Für russischsprachige Studios ist etwas anderes bedeutsamer. In der Sprachliste der Blender-Version findet sich Russisch: insgesamt sind es acht — Englisch, Spanisch, Mandarin, Portugiesisch, Französisch, Deutsch, Koreanisch und Russisch, weitere will das Unternehmen später ergänzen. Der Satz unterscheidet sich von dem, was UNOMi früher für sein 3D-Plug-in angegeben hatte: dort waren Englisch, Französisch, Deutsch, Italienisch, Japanisch, Spanisch und Portugiesisch aufgeführt, mit dem Hinweis, dass auch andere Sprachen unterstützt werden.

Was die Figur mitbringen muss

Das Modellieren übernimmt das Plug-in nicht: Seine Aufgabe ist Keyframing und Animation, die Mundposen müssen vorab modelliert werden. Für die Maya-Version beschreibt der Entwickler folgende Anforderungen:

• 14 modellierte Mundposen (Blendshapes), die phonetischen Lauten entsprechen;
• Tonspur der Replik und deren Texttranskription;
• dauerhafte Internetverbindung — darüber wird die Lizenz geprüft und der Lipsync selbst generiert.

Zusammengesetzte Figuren werden unterstützt: Augen, Zähne und Lippen können auf separate Objekte verteilt sein. Lipsync für mehrere Figuren in einer Szene ist ebenfalls möglich, aufgrund von Einschränkungen in Maya ist bei der Wiedergabe jedoch nur eine Tonspur aktiv. Modelle werden in FBX und GLTF angenommen, Ton in MP3, WAV und AIFF, das Ergebnis wird zurück nach FBX, GLTF oder als QuickTime-Video exportiert. Eine eigene Anforderungsliste für Blender hat das Unternehmen noch nicht veröffentlicht, die Details der Integration können also abweichen.

Die Testversion lässt sich kostenlos herunterladen, die Vollversion erfordert einen Kauf; die Produktseite — UNOMi 3D Lip Sync. Im Testmodus ist die Dauer des Lipsync auf wenige Sekunden begrenzt. Der Entwickler bittet Blender-Nutzer, Wünsche für weitere Funktionen einzusenden.

Warum ein Anbieter kommerzieller Software zu Blender geht

Die Veröffentlichung des Plug-ins wirkt wie Teil einer breiteren Neuausrichtung des Unternehmens. UNOMi hatte erklärt, dass sein 3D-Lipsync innerhalb von drei Monaten zu UNOMi 3D mit integriertem markerlosem Motion-Capture-System werden soll, das mit Webcam oder Telefon arbeitet; in den Plänen zu dieser Richtung wird Blender gleichrangig mit Maya, Cinema 4D und Unreal Engine genannt.

Der Grund liegt wahrscheinlich in der Struktur des Publikums. Kleine und mittlere Studios, Freelancer und Indie-Teams — also jene, denen die Automatisierung der Gesichtsanimation am meisten Personenstunden spart — arbeiten immer häufiger genau in Blender. Für einen Anbieter eines Nischen-KI-Werkzeugs ist das der größte unerschlossene Markt, und ihn weiter zu ignorieren wurde teurer, als das Plug-in zu portieren.

Widerstand ist allerdings ebenso vorhersehbar. Die Blender-Community ist an kostenlose Lipsync-Addons auf Basis von Phonemwörterbüchern und an Werkzeuge gewöhnt, die offline funktionieren. Eine bezahlte Lizenz und eine obligatorische Serververbindung sind ein gewohntes Modell für den Maya-Markt, für Blender ist das aber eine empfindliche Hürde: ohne Internet und gültige Lizenz funktioniert das Plug-in einfach nicht. Will sich UNOMi in diesem Publikum festsetzen, muss die Qualität der Erkennung in acht Sprachen überzeugend vorgeführt werden — genau sie unterscheidet das bezahlte Werkzeug von den kostenlosen Pendants.

Was ist für Sie beim Lipsync wichtiger?

• Fertige Keys auf Mundposen
• Unterstützung russischer Sprachaufnahmen