MagicTime

MagicTime是一个AI生成高质量的变化延时视频的模型，它可以展示物体随时间变化的过程，即“生长动画”。由北京大学、罗切斯特大学、新加坡国立大学、广东工业大学和加州大学圣克鲁斯分校共同开发，使用者只需提供文本描述变化过程，MagicTime便能自动生成高质量的变化视频，实现逼真的动态模拟。 其采用DiT-based架构，旨在解决现有文本到视频（T2V）生成模型未能充分捕捉现实世界的物理知识的痛点。MagicTime包括MagicAdapter、Dynamic Frames Extraction和Magic Text-Encoder三个主要组件，可以有效地从文本中理解变化过程并生成对应的视频。 MagicTime的主要功能特点 学习物理知识：从现有的时间延迟视频中学习，实现对新生成视频中变形的真实模拟。 MagicAdapter方案：这一创新方法解耦空间和时间训练，使模型能够编码更多的物理知识，创建更高保真度和现实感的变形视频。 动态帧提取策略：适应广泛的变形时间延迟视频，确保变形过程的所有关键阶段都被有效表示。 Magic Text-Encoder：改进的文本编码器帮助系统更好地理解和解释生成变形视频的提示。 我们看一下官方给的示例 MagicTime的强大功能来自于它的三个主要组件： MagicAdapter：负责理解文本中的变化过程，并将其转化为视频中的动态框架。 Dynamic Frames Extraction：从大量的视频数据中提取出关键帧，形成视频的骨架。 Magic Text-Encoder：将文本描述编码成视频生成模型能够理解的语言。 通过这些组件的结合，MagicTime能够生成高质量的变化视频，这些视频不仅视觉上吸引人，而且能够准确地反映出时间的变化 MagicTime如何使用？ 可以自行下载部署，官方给了详细的步骤。 下载部署: git clone https://github.com/PKU-YuanGroup/MagicTime.git cd MagicTimeconda create -n magictime python=3.10.13 conda activate magictime pip install -r requirement.txt 下载模型: sh prepare_weights/down_base_model.sh sh prepare_weights/down_dreambooth.sh 准备模型: sh prepare_weights/down_magictime_module.sh 除此之外，你也可以通过官方给的在线体验地址来感受。具体内容见下面链接 在线体验：https://huggingface.co/spaces/BestWishYsh/MagicTime 代码地址：https://github.com/PKU-YuanGroup/MagicTime 项目地址：https://pku-yuangroup.github.io/MagicTime/