MusiConGen
MusiConGen是一种基于Transformer的文本到音乐生成模型。它通过引入时间条件机制,显著提升了对音乐节奏和和弦的控制能力。该模型是在预训练的MusicGen-melody框架基础上进行微调的,主要用于生成各种风格的音乐片段。
CineMaster是一个3D感知和可控的文本到视频生成框架,旨在帮助用户创建高质量的电影视频。该框架通过两个阶段的工作流程,赋予用户专业电影导演般的控制力,允许他们在 3D 空间中精确地放置场景中的对象,并灵活地操控对象和摄像机。
CineMaster是一个3D感知和可控的文本到视频生成框架,旨在帮助用户创建高质量的电影视频。该框架通过两个阶段的工作流程,赋予用户专业电影导演般的控制力,允许他们在 3D 空间中精确地放置场景中的对象,并灵活地操控对象和摄像机。 核心功能特点 3D 感知和可控性:用户可以在 3D 空间中精确地放置场景中的对象,并灵活地操控对象和摄像机,确保生成的视频符合用户的意图。 交互式工作流程:提供一个交互式工作流程,允许用户通过定位对象边界框和定义摄像机运动来直观地构建 3D 感知的条件信号。 文本到视频扩散模型:使用文本到视频扩散模型生成用户期望的视频内容,确保生成的视频符合用户的意图。 自动数据标注管道:通过自动数据标注管道,从大规模视频数据中提取 3D 边界框和摄像机轨迹作为控制信号。 应用场景 电影制作:帮助专业电影导演精确控制场景中的对象和摄像机运动。 广告制作:生成高质量的广告视频,吸引观众的注意力。 内容创作:为内容创作者提供强大的工具,生成创意视频。