近日，Character AI 与耶鲁大学的研究团队强强联手，共同推出了一款名为 Ovi 的新型音画同步视频生成技术。这一开源项目不仅标志着音频和视频生成技术的一次重大突破，更彻底颠覆了以往音画生成的传统模式。Ovi 采用了一种创新的双骨干交叉模态融合架构，将音频和视频视为一个不可分割的整体，通过并行的处理流程和深度的信息交互，实现了音画的完美同步。这一设计理念彻底改变了以往先生成画面再添加声音或反之的做法，有效解决了音画不同步的长期难题。
在 Ovi 的架构中，有两个功能相同的分支分别负责处理视频和音频，这两个分支采用了相同的扩散变换器架构。这种设计使得音频与视频在生成过程中能够直接互动，极大地消除了不必要的参数和计算开销。实时的信息交互机制让 Ovi 能够精准地学习音频和视频之间的对应关系，例如嘴唇运动与发音之间的精确匹配，从而生成高度逼真的音画同步视频。
为了确保音频和视频在时间上的精确对齐，Ovi 引入了一种名为旋转位置嵌入的创新技术。通过数学缩放，音频和视频的时间步点实现了完美匹配，确保了在生成过程中二者能够同步出现。此外，Ovi 在处理用户输入时，也采用了统一的文本提示策略，进一步提高了生成效果的准确性和丰富性。
在数据集的构建上，Ovi 团队展现了极高的专业水准，设计了复杂的处理流程，确保了训练数据的多样性和高质量。他们巧妙地结合了音视频对的数据集和纯音频数据集，为模型提供了全面的学习基础。这种严谨的训练方案为 Ovi 的成功奠定了坚实的基础，使其在音画同步视频生成领域脱颖而出。
github:https://github.com/character-ai/Ovi
划重点:🌟 Ovi 是 Character AI 与耶鲁大学联合开发的一款开源音画同步视频生成技术。🎥 采用双骨干交叉模态融合架构，实现音频与视频的实时互动和完美同步。📊 团队构建了高质量、多样化的数据集，以支持 Ovi 的训练和应用。
