banner
andrewji8

Being towards death

Heed not to the tree-rustling and leaf-lashing rain, Why not stroll along, whistle and sing under its rein. Lighter and better suited than horses are straw sandals and a bamboo staff, Who's afraid? A palm-leaf plaited cape provides enough to misty weather in life sustain. A thorny spring breeze sobers up the spirit, I feel a slight chill, The setting sun over the mountain offers greetings still. Looking back over the bleak passage survived, The return in time Shall not be affected by windswept rain or shine.
telegram
twitter
github

AI语音合成工具-Lalamu Studio

近期,Lalamu Studio 开启了 beta 版本测试:Lalamu Studio。该工具整合了 TTS 和 lip sync 功能,可以让任意视频中的人物开口说话,并精确模拟口型。

image
例如,选择一段视频素材,添加由 Ai 合成的语音,即可完成实时播报和唇形同步。点击上面链接,访问 Lalamu Studio。左侧可以合成语音,完成唇形同步。

选择一段动画,在左侧对画框中添加视频脚本,在下方选择一个播音员,点击生成音频,完成语音合成后,点击下方的 Generation,开始合成视频。为了节省算力,Lalamu Studio 并未提供高清视频输出。不过,从生成的动画可以看出,人物的口型可和语音完全相符。
然后,选择一段真人动画,测试一下口型模拟的效果。Lalamu Studio 还处于测试期,正式上市后,将会支持高清输出。Lalamu Studio 还将推出多人物语音合成和编辑功能,让视频剪辑变得更有趣。

简单的了解了 Lalamu Studio,我就为大家演示如何使用来 Lalamu Studio 为动画合成语音。

image

首先,使用任意工具,生成一张 TINKERBELL 的图像。登录 Pikalabs
输入 a pirate of the Caribbean 提示,生成一段几秒钟的短视频,并保存到本地。返回 Lalamu Studio,上传制作好的短视频。下一步,登录 TTS 语音合成网站 Elevenlabs:Text to Speech & AI Voice Generator – ElevenLabs,点击 voice library 选项,从社区中选择一个合适的配音员。

image
点击下方的 add to voicelab, 把播音员添加到自己的语音库。然后,输入视频脚本,完成语音合成:

“Hi, I‘m Jack Sparrow, a pirate of the Caribbean.”

上传语音文件到 Lalamu,点击 lipsync 选项,实现模拟口型。

最后,测试一下 lalamu 自带的视频素材,通过多组测试,Lalamu 可以准确模拟大部分卡通人物的口型,大家可以自行尝试。然后,测试一下真实人像的模拟效果。

Lalamu 可用于制作有趣的短视频和动画,最多支持 300 字符的脚本。目前,Lalamu 仅支持德语和英语,并不支持中文,大家可以在上面网站内尝试。

加载中...
此文章数据所有权由区块链加密技术和智能合约保障仅归创作者所有。