El lipsync con IA de UNOMi llega a Blender y entiende ruso

La compañía UNOMi ha lanzado una versión de su lipsync con IA para Blender. Hasta ahora, su plugin de animación automática del habla existía solo para Autodesk Maya y Cinema 4D, mientras que la compatibilidad con Blender y Unreal Engine figuraba en el sitio del desarrollador como algo futuro. Una de las dos promesas ya está cumplida.

El esquema de trabajo es el mismo: el animador entrega al plugin la pista de sonido del diálogo y su texto, y este analiza el habla y coloca claves en las poses de boca esculpidas previamente. La distribución manual de fonemas en la línea de tiempo desaparece del pipeline, y después el artista corrige el resultado por su cuenta. Sobre eso construye el desarrollador su argumento: acelerar la producción dejando el control en manos del animador.

Para los estudios de habla rusa es más relevante otra cosa. En la lista de idiomas de la versión para Blender está el ruso: en total son ocho — inglés, español, mandarín, portugués, francés, alemán, coreano y ruso; el resto la compañía promete añadirlos más adelante. El conjunto difiere del que UNOMi indicaba antes para su plugin 3D: allí se enumeraban inglés, francés, alemán, italiano, japonés, español y portugués, con la nota de que también se admiten otros idiomas.

Qué se requerirá del personaje

El plugin no se encarga del modelado: su tarea es el keyframing y la animación, y las poses de boca hay que esculpirlas con antelación. Para la versión destinada a Maya, el desarrollador describe el siguiente conjunto de requisitos:

• 14 poses de boca esculpidas (blendshapes) que correspondan a los sonidos fonéticos;
• la pista de audio del diálogo y su transcripción textual;
• conexión permanente a internet: a través de ella se verifica la licencia y se realiza la propia generación del lipsync.

Se admiten personajes compuestos: los ojos, los dientes y los labios pueden estar repartidos en objetos separados. El lipsync para varios personajes en una misma escena también es posible, pero por las limitaciones de Maya durante la reproducción solo está activa una pista de sonido. Los modelos se aceptan en FBX y GLTF, el sonido en MP3, WAV y AIFF, y el resultado se exporta de vuelta a FBX, GLTF o a vídeo QuickTime. La compañía aún no ha publicado una lista de requisitos específica para Blender, así que los detalles de la integración pueden diferir.

La versión de prueba se puede descargar gratis, la completa requiere compra; la página del producto es UNOMi 3D Lip Sync. En el modo de prueba, la duración del lipsync está limitada a unos pocos segundos. El desarrollador pide a los usuarios de Blender que envíen sus sugerencias sobre futuras funciones.

Por qué un proveedor de software comercial entra en Blender

El lanzamiento del plugin parece parte de un giro más amplio de la compañía. UNOMi declaró que en el plazo de tres meses su lipsync 3D se convertirá en UNOMi 3D con un sistema integrado de captura de movimiento sin marcadores, que funciona desde una webcam o un teléfono; en los planes de esa línea, Blender aparece al mismo nivel que Maya, Cinema 4D y Unreal Engine.

La razón está, probablemente, en la estructura de la audiencia. Los estudios pequeños y medianos, los freelancers y los equipos indie — es decir, aquellos a quienes la automatización de la animación facial ahorra más horas-persona — trabajan cada vez más precisamente en Blender. Para un proveedor de una herramienta de IA de nicho, ese es el mayor mercado sin explotar, e ignorarlo más tiempo resultaba más costoso que portar el plugin.

La resistencia, sin embargo, también es previsible. La comunidad de Blender está acostumbrada a los addons gratuitos de lipsync basados en diccionarios de fonemas y a herramientas que funcionan sin conexión. Una licencia de pago y la conexión obligatoria con el servidor son un modelo habitual para el mercado de Maya, pero para Blender es una barrera sensible: sin internet y sin una licencia vigente el plugin simplemente no funcionará. Si UNOMi quiere afianzarse en esa audiencia, tendrá que demostrar de forma convincente la calidad del reconocimiento en los ocho idiomas: es justo eso lo que distingue a una herramienta de pago de sus equivalentes gratuitos.

¿Qué es más importante para ti en el lipsync?

• Claves listas en las poses de boca
• Compatibilidad con la locución en ruso