O lipsync com IA da UNOMi chegou ao Blender e entende russo

A empresa UNOMi lançou uma versão do seu lipsync com IA para o Blender. Até agora, o seu plugin de animação automática de fala existia apenas para Autodesk Maya e Cinema 4D, enquanto o suporte para Blender e Unreal Engine constava no site do desenvolvedor como algo futuro. Uma das duas promessas foi cumprida.

O esquema de funcionamento é o mesmo: o animador entrega ao plugin a faixa sonora da fala e o respetivo texto, e este analisa a fala e coloca chaves nas poses da boca modeladas previamente. A distribuição manual dos fonemas na linha de tempo sai do pipeline e, a seguir, o artista corrige o resultado por si. É sobre isso que o desenvolvedor constrói o seu argumento: acelerar a produção, mantendo o controlo nas mãos do animador.

Para os estúdios de língua russa, há algo mais relevante. Na lista de idiomas da versão para Blender está o russo: são oito no total — inglês, espanhol, mandarim, português, francês, alemão, coreano e russo, e os restantes a empresa promete acrescentar mais tarde. O conjunto difere do que a UNOMi indicava anteriormente para o seu plugin 3D: aí eram enumerados inglês, francês, alemão, italiano, japonês, espanhol e português, com a nota de que também são suportados outros idiomas.

O que será exigido ao personagem

O plugin não assume a modelação: a sua tarefa é o keyframing e a animação, e as poses da boca têm de ser modeladas previamente. Para a versão destinada ao Maya, o desenvolvedor descreve o seguinte conjunto de requisitos:

• 14 poses da boca modeladas (blendshapes), correspondentes aos sons fonéticos;
• a faixa de áudio da fala e a respetiva transcrição textual;
• ligação permanente à internet — através dela é verificada a licença e é executada a própria geração do lipsync.

Personagens compostos são suportados: olhos, dentes e lábios podem estar distribuídos por objetos separados. O lipsync para vários personagens numa mesma cena também é possível, mas devido às limitações do Maya apenas uma faixa sonora fica ativa durante a reprodução. Os modelos são aceites em FBX e GLTF, o som em MP3, WAV e AIFF, e o resultado é exportado de novo para FBX, GLTF ou vídeo QuickTime. A empresa ainda não publicou uma lista de requisitos específica para o Blender, pelo que os detalhes da integração podem diferir.

A versão de teste pode ser descarregada gratuitamente, a versão completa exige compra; a página do produto é UNOMi 3D Lip Sync. No modo de teste, a duração do lipsync está limitada a alguns segundos. O desenvolvedor pede aos utilizadores do Blender que enviem sugestões sobre as funcionalidades futuras.

Porque é que um fornecedor de software comercial vai para o Blender

O lançamento do plugin parece parte de uma viragem mais ampla da empresa. A UNOMi afirmou que, no prazo de três meses, o seu lipsync 3D se transformará no UNOMi 3D, com um sistema integrado de captura de movimento sem marcadores, funcionando a partir de uma webcam ou de um telefone; nos planos para essa área, o Blender é indicado em pé de igualdade com o Maya, o Cinema 4D e o Unreal Engine.

A razão está, provavelmente, na estrutura do público. Estúdios pequenos e médios, freelancers e equipas indie — isto é, aqueles a quem a automatização da animação facial poupa mais horas-homem — trabalham cada vez mais precisamente no Blender. Para um fornecedor de uma ferramenta de IA de nicho, este é o maior mercado inexplorado, e continuar a ignorá-lo tornava-se mais caro do que portar o plugin.

A resistência, no entanto, é igualmente previsível. A comunidade do Blender está habituada a addons gratuitos de lipsync baseados em dicionários de fonemas e a ferramentas que funcionam offline. Uma licença paga e a ligação obrigatória ao servidor são um modelo habitual no mercado do Maya, mas para o Blender isso é uma barreira sensível: sem internet e sem uma licença válida o plugin simplesmente não funciona. Se a UNOMi quiser consolidar-se neste público, terá de demonstrar de forma convincente a qualidade do reconhecimento nos oito idiomas — é precisamente isso que distingue uma ferramenta paga das alternativas gratuitas.

O que é mais importante para si no lipsync?

• Chaves prontas nas poses da boca
• Suporte para locução em russo