近々、Lalamu Studio はベータ版のテストを開始しました。Lalamu Studio は TTS とリップシンク機能を統合したツールで、任意のビデオのキャラクターが話すことができ、口の動きを正確にシミュレートすることができます。
例えば、ビデオ素材を選択し、AI によって合成された音声を追加すると、リアルタイムの放送とリップシンクが完了します。上記のリンクをクリックして、Lalamu Studio にアクセスしてください。左側で音声を合成し、リップシンクを完了させることができます。
アニメーションを選択し、左側のフレームにビデオスクリプトを追加し、下部で声優を選択し、音声を生成し、音声合成が完了したら、下部の「Generation」をクリックしてビデオを合成します。計算リソースを節約するため、Lalamu Studio は高解像度のビデオ出力を提供していません。しかし、生成されたアニメーションからは、キャラクターの口の動きが音声と完全に一致していることがわかります。
次に、実写のアニメーションを選択して、口の動きのシミュレーション効果をテストしてみましょう。Lalamu Studio はまだテスト中ですが、正式に発売されると、高解像度の出力がサポートされる予定です。Lalamu Studio では、複数のキャラクターの音声合成と編集機能も提供され、ビデオ編集がより楽しくなります。
Lalamu Studio の基本的な使い方を簡単に説明しましたので、次はアニメーションに音声を合成する方法をデモンストレーションします。
まず、任意のツールを使用して TINKERBELL の画像を生成します。Pikalabsにログインし、「a pirate of the Caribbean」と入力すると、数秒間のショートビデオが生成され、ローカルに保存されます。Lalamu Studio に戻り、作成したショートビデオをアップロードします。次に、TTS 音声合成サイト Elevenlabs：Text to Speech & AI Voice Generator – ElevenLabs にログインし、ボイスライブラリのオプションをクリックし、コミュニティから適切な声優を選択します。
下部の「add to voicelab」をクリックして、声優を自分の音声ライブラリに追加します。そして、ビデオスクリプトを入力して音声合成を完了します。
「Hi、 I‘m Jack Sparrow, a pirate of the Caribbean.」
音声ファイルを Lalamu にアップロードし、リップシンクオプションをクリックして口の動きをシミュレートします。
最後に、Lalamu に付属しているビデオ素材をテストし、複数のテストを行うと、Lalamu はほとんどのアニメキャラクターの口の動きを正確にシミュレートすることができます。皆さんもぜひお試しください。そして、実際の人物像のシミュレーション効果をテストしてみましょう。
Lalamu は面白いショートビデオやアニメーションの制作に使用することができ、最大 300 文字のスクリプトをサポートしています。現時点では、Lalamu はドイツ語と英語のみをサポートしており、中国語はサポートされていません。皆さんは上記のウェブサイトで試すことができます。