近期,Lalamu Studio 开启了 beta 版本测试:Lalamu Studio。该工具整合了 TTS 和 lip sync 功能,可以让任意视频中的人物开口说话,并精确模拟口型。
例如,选择一段视频素材,添加由 Ai 合成的语音,即可完成实时播报和唇形同步。点击上面链接,访问 Lalamu Studio。左侧可以合成语音,完成唇形同步。
选择一段动画,在左侧对画框中添加视频脚本,在下方选择一个播音员,点击生成音频,完成语音合成后,点击下方的 Generation,开始合成视频。为了节省算力,Lalamu Studio 并未提供高清视频输出。不过,从生成的动画可以看出,人物的口型可和语音完全相符。
然后,选择一段真人动画,测试一下口型模拟的效果。Lalamu Studio 还处于测试期,正式上市后,将会支持高清输出。Lalamu Studio 还将推出多人物语音合成和编辑功能,让视频剪辑变得更有趣。
简单的了解了 Lalamu Studio,我就为大家演示如何使用来 Lalamu Studio 为动画合成语音。
首先,使用任意工具,生成一张 TINKERBELL 的图像。登录 Pikalabs,
输入 a pirate of the Caribbean 提示,生成一段几秒钟的短视频,并保存到本地。返回 Lalamu Studio,上传制作好的短视频。下一步,登录 TTS 语音合成网站 Elevenlabs:Text to Speech & AI Voice Generator – ElevenLabs,点击 voice library 选项,从社区中选择一个合适的配音员。
点击下方的 add to voicelab, 把播音员添加到自己的语音库。然后,输入视频脚本,完成语音合成:
“Hi, I‘m Jack Sparrow, a pirate of the Caribbean.”
上传语音文件到 Lalamu,点击 lipsync 选项,实现模拟口型。
最后,测试一下 lalamu 自带的视频素材,通过多组测试,Lalamu 可以准确模拟大部分卡通人物的口型,大家可以自行尝试。然后,测试一下真实人像的模拟效果。
Lalamu 可用于制作有趣的短视频和动画,最多支持 300 字符的脚本。目前,Lalamu 仅支持德语和英语,并不支持中文,大家可以在上面网站内尝试。