Renderu.com
10.2 K帖子
68.3 K关注
34.6 M访问
Alex Rowan

UNOMi 的 AI 口型同步登陆 Blender,并能听懂俄语

软件

UNOMi 公司发布了其 AI 口型同步的 Blender 版本。此前,该公司的自动语音动画插件只有 Autodesk Maya 和 Cinema 4D 版本,而对 Blender 和 Unreal Engine 的支持在开发商网站上还只是未来计划。如今两项承诺中的一项已经兑现。

工作方式一如从前:动画师把台词的声音轨道及其文本交给插件,插件解析语音,并在事先雕好的口型姿态上打关键帧。在时间轴上手动摆放音素的环节从流程中消失,之后由艺术家自己修正结果。开发商的卖点正建立在这一点上:加快制作速度,同时把控制权留给动画师。

对俄语地区的工作室来说,另一点更为重要。Blender 版本的语言列表中有俄语:总共八种——英语、西班牙语、普通话、葡萄牙语、法语、德语、韩语和俄语,其余语言公司承诺日后补充。这一组合与 UNOMi 此前为其 3D 插件标注的并不相同:那里列出的是英语、法语、德语、意大利语、日语、西班牙语和葡萄牙语,并注明也支持其他语言。

对角色有哪些要求

插件不负责建模:它的任务是打关键帧和制作动画,口型姿态需要提前雕好。对于 Maya 版本,开发商给出的要求如下:

  • 14 个雕好的口型姿态(blendshape),与各个语音音素相对应;
  • 台词的音频轨道及其文字转录;
  • 持续的互联网连接——通过它验证授权,并完成口型同步的生成本身。

支持组合式角色:眼睛、牙齿和嘴唇可以分散在不同的物体上。在同一场景中为多个角色制作口型同步也是可行的,但由于 Maya 的限制,播放时只有一条声音轨道处于激活状态。模型支持 FBX 和 GLTF,声音支持 MP3、WAV 和 AIFF,结果可导出回 FBX、GLTF 或 QuickTime 视频。公司尚未发布面向 Blender 的单独要求清单,因此集成细节可能有所不同。

UNOMi 的 AI 口型同步登陆 Blender,并能听懂俄语
插件用来打关键帧的口型姿态组。图片:UNOMi

试用版可免费下载,完整版需要购买;产品页面为 UNOMi 3D Lip Sync。在试用模式下,口型同步的时长被限制为几秒。开发商请 Blender 用户提交对后续功能的建议。

商业软件厂商为何要进入 Blender

该插件的推出看起来是公司更大范围转向的一部分。UNOMi 曾表示,其 3D 口型同步将在三个月内变成 UNOMi 3D,内置可通过网络摄像头或手机工作的无标记动作捕捉系统;在这一方向的计划中,Blender 与 Maya、Cinema 4D 和 Unreal Engine 被并列提及。

原因很可能在于用户结构。中小型工作室、自由职业者和独立团队——也就是面部动画自动化能为其节省最多人工工时的群体——越来越多地正是在 Blender 中工作。对一家小众 AI 工具供应商而言,这是最大的未开垦市场,而继续忽视它的代价已经比移植插件更高。

然而阻力同样可以预见。Blender 社区习惯了基于音素词典的免费口型同步插件,以及能够离线工作的工具。付费授权和强制联网对 Maya 市场来说是常见模式,但对 Blender 而言却是一道敏感的门槛:没有互联网和有效授权,插件根本无法运行。如果 UNOMi 想在这一用户群体中立足,就必须令人信服地展示八种语言的识别质量——正是它把付费工具与免费同类产品区分开来。

在口型同步中,您更看重什么?

  • 在口型姿态上现成打好的关键帧
  • 对俄语配音的支持
19
相关新闻:
免费 Blender 插件 299 Tools 可将 AI 手办模型切分为 3D 打印部件
Blender 5.3 让 Grease Pencil 摆脱了模式切换
Clay Pencil 把 2D 动画变成 3D,有望进入 Blender 核心功能
TBSF 为 Blender 制作的七套 Sonic 绑定全部永久免费
评论:3
发布日期 所有语言 只是英语