MMAudio 是一个强大的自动根据视频生成适配音频的模型，能够根据视频内容完美生成丰富、贴合的音频。这个模型专注于生成与视频中的视觉元素、动作和环境相匹配的高质量音频，并保持时间的一致性。
MMAudio 首次亮相于 2023 年，但由于早期的生成效果平平，并未掀起太大的波澜。在 2024 年 12 月 8 日，MMAudio 在 Github 社区正式发布，随着 SORA 的无音频视频技术的加入，普通人如今也能轻松借助 AI 的力量，实现从创意到成品的飞跃，摇身一变成为 “短片大师”。该模型采用了专门为视频到音频合成设计的深度学习架构。通过先进的神经网络和时间分析，它处理视频中的视觉信息，生成自然适配的音频。MMAudio 支持高质量的音频合成、上下文感知的声音生成、精确的时间同步、丰富的环境音合成、准确的动作与声音匹配以及可处理多种视频来源。
https://huggingface.co/spaces/hkchengrex/MMAudio
https://huggingface.co/hkchengrex/MMAudio/tree/main
https://hkchengrex.com/MMAudio/video_main.html