UNOMi의 AI 립싱크가 Blender에 도달하고 러시아어를 이해한다

UNOMi가 자사 AI 립싱크의 Blender 버전을 출시했다. 지금까지 이 회사의 자동 음성 애니메이션 플러그인은 Autodesk Maya와 Cinema 4D용으로만 존재했고, Blender와 Unreal Engine 지원은 개발사 웹사이트에 향후 계획으로 표시돼 있었다. 두 가지 약속 중 하나가 이행된 것이다.

작업 방식은 이전과 같다. 애니메이터가 플러그인에 대사의 사운드 트랙과 그 텍스트를 넘기면, 플러그인이 음성을 분석해 미리 조형해 둔 입 모양 포즈에 키를 배치한다. 타임라인에 음소를 수동으로 배치하는 작업이 파이프라인에서 사라지고, 이후 아티스트가 결과를 직접 다듬는다. 개발사의 논거도 바로 여기에 있다. 제작을 가속하면서 통제권은 애니메이터에게 남긴다는 것이다.

러시아어권 스튜디오에는 다른 점이 더 중요하다. Blender 버전의 언어 목록에는 러시아어가 있다. 전체는 여덟 개로, 영어, 스페인어, 만다린, 포르투갈어, 프랑스어, 독일어, 한국어, 러시아어이며 나머지는 나중에 추가하겠다고 회사는 약속하고 있다. 이 구성은 UNOMi가 이전에 자사 3D 플러그인에 대해 제시했던 것과 다르다. 거기에는 영어, 프랑스어, 독일어, 이탈리아어, 일본어, 스페인어, 포르투갈어가 나열되고 다른 언어도 지원된다는 설명이 달려 있었다.

캐릭터에 요구되는 것

모델링은 플러그인이 맡지 않는다. 플러그인의 역할은 키프레이밍과 애니메이션이며, 입 모양 포즈는 미리 조형해 둬야 한다. Maya 버전에 대해 개발사는 다음과 같은 요구 사항을 제시한다.

• 음성학적 소리에 대응하는, 조형된 입 모양 포즈(블렌드셰이프) 14개;
• 대사의 오디오 트랙과 그 텍스트 전사;
• 상시 인터넷 연결 — 이를 통해 라이선스가 확인되고 립싱크 생성 자체가 수행된다.

복합 캐릭터도 지원된다. 눈, 치아, 입술이 개별 오브젝트로 나뉘어 있어도 된다. 한 장면에서 여러 캐릭터의 립싱크도 가능하지만, Maya의 제약 때문에 재생 시에는 사운드 트랙이 하나만 활성화된다. 모델은 FBX와 GLTF로 받고, 사운드는 MP3, WAV, AIFF로 받으며, 결과물은 다시 FBX, GLTF 또는 QuickTime 영상으로 내보낸다. Blender용 요구 사항 목록은 회사가 아직 따로 공개하지 않았으므로 통합의 세부 사항은 다를 수 있다.

시험판은 무료로 다운로드할 수 있고, 정식판은 구매가 필요하다. 제품 페이지는 UNOMi 3D Lip Sync다. 시험 모드에서는 립싱크 길이가 수 초로 제한된다. 개발사는 Blender 사용자들에게 향후 기능에 관한 희망 사항을 보내 달라고 요청하고 있다.

상용 소프트웨어 벤더가 Blender로 가는 이유

플러그인 출시는 회사의 더 넓은 전환의 일부로 보인다. UNOMi는 3개월 안에 자사 3D 립싱크가 웹캠이나 휴대전화로 작동하는 마커리스 모션 캡처 시스템을 내장한 UNOMi 3D로 바뀔 것이라고 밝혔다. 이 방향의 계획에서 Blender는 Maya, Cinema 4D, Unreal Engine과 동등하게 명시돼 있다.

이유는 아마도 사용자층 구조에 있다. 중소 스튜디오, 프리랜서, 인디 팀 — 즉 얼굴 애니메이션 자동화로 가장 많은 인력 시간을 절약하는 쪽 — 이 점점 더 Blender에서 작업하고 있다. 니치 AI 도구 공급사에게 이곳은 가장 큰 미개척 시장이며, 더 이상 외면하는 비용이 플러그인을 이식하는 비용보다 커지고 있었다.

다만 반발도 예상 가능하다. Blender 커뮤니티는 음소 사전에 기반한 무료 립싱크 애드온과 오프라인에서 작동하는 도구에 익숙하다. 유료 라이선스와 필수적인 서버 연결은 Maya 시장에서는 익숙한 모델이지만, Blender에서는 민감한 장벽이다. 인터넷과 유효한 라이선스가 없으면 플러그인은 아예 작동하지 않는다. UNOMi가 이 사용자층에 자리를 잡으려면 여덟 개 언어에서의 인식 품질을 설득력 있게 보여줘야 한다. 바로 그것이 유료 도구를 무료 대안과 구분하는 지점이다.

립싱크에서 더 중요한 것은 무엇인가

• 입 모양 포즈에 배치된 완성된 키
• 러시아어 음성 지원