ToonCrafter

ToonCrafter是一个AI驱动图像生成卡通动画视频工具。它可以通过预训练的图像到视频扩散模型，实现两张卡通图片之间的平滑过渡，从而创造出动画效果。 ToonCrafter：腾讯推出的开源AI卡通动画视频工具 其主要功能特点： 1、卡通插值：ToonCrafter可以通过生成性插值方法，在卡通动画帧之间生成自然连贯的中间帧。它只需要用户提供起始和结束的卡通画面，就能自动生成中间一系列流畅的动画帧。这解决了卡通动画中帧与帧之间过渡不自然的问题，使动画过渡更加平滑自然。 2、草图引导插值：除了通过纯卡通图像生成动画，ToonCrafter还支持对草图添加动画。用户可以提供稀疏的草图输入，系统将根据草图生成符合用户预期的中间帧。这种方式允许用户对动画过渡进行细致控制，提升了插值结果的准确性和个性化。 3、参考图像上色：ToonCrafter能够根据参考图像对草图进行上色。用户可以提供一张或两张参考图像，系统将根据参考图像的颜色和风格，对输入的草图进行上色处理。这简化了上色流程，提高了效率，同时使草图上色效果更加逼真。 插帧和上色效果 4、用户交互控制：ToonCrafter提供了用户交互控制功能，使用户能够灵活地调整插值结果。用户可以在插值过程中实时修改草图，系统将根据用户的修改动态更新生成结果。这种交互方式使得动画制作过程更加直观和高效。 ToonCrafter是由香港中文大学、香港城市大学和腾讯AI实验室的研究团队开发的。它是一个开源项目，可以在GitHub上找到相关的代码和使用说明。此外，ToonCrafter还提供了在线版本，可以在Huggingface上使用。 论文：https://arxiv.org/abs/2405.17933v1 官网：https://doubiiu.github.io/projects/ToonCrafter/  代码：https://github.com/ToonCrafter/ToonCrafter 总结来说，ToonCrafter是一个功能强大的动画插帧工具，它通过先进的AI技术简化了卡通动画制作流程，提高了制作效率和效果。该工具适合对卡通动画制作感兴趣的艺术家和研究人员，以及希望探索AI在视频生成领域应用的技术开发者使用。