SEED-Story

SEED-Story是一个腾讯开源的基于大型语言模型（MLLM）的多模态长篇故事生成模型，它能够根据用户提供的图片和文本生成连贯的叙事文本和风格一致的图片。无论是小说创作、剧本编写还是视觉故事，SEED-Story都能提供高质量、多模态的内容，助力创意产业的发展。 SEED-Story的功能特点 基于大型语言模型（MLLM）：SEED-Story利用先进的MLLM技术，能够从用户提供的图像和文本作为起点，生成包含丰富、连贯的叙事文本以及风格一致的图像的多模态长篇故事。 生成内容丰富：生成的故事不仅包含文字描述，还包含与文字内容相匹配、风格一致的图像，增强了故事的沉浸感和表现力。 保持一致性：在生成过程中，SEED-Story能够确保角色形象和故事风格的一致性，使得整个故事更加连贯和吸引人。 SEED-Story的技术原理 SEED-Story是一个基于大型语言模型（MLLM）的多模态长篇故事生成模型，其技术原理主要包括以下几个阶段： 1.预训练阶段： 在第一阶段，SEED-Story预训练了一个基于SD-XL的去标记化器（de-tokenizer）。该去标记化器通过接受预训练的视觉变换器（ViT）的特征作为输入来重建图片。 这一阶段的目标是使模型能够理解和生成高质量的视觉内容。 2.序列训练阶段： 在第二阶段，模型采样一个随机长度的交错图像-文本序列。通过对目标图像的ViT特征和可学习查询的输出隐藏状态之间的下一个词预测和图像特征回归来训练大型语言模型（MLLM）。 这一阶段的目标是使模型能够生成连贯的叙事文本，并在文本和图像之间建立关联。 3.调优阶段： 在第三阶段，从MLLM回归得到的图像特征被输入到去标记化器中，以调整SD-XL。 这一阶段的目标是增强生成图片中角色和风格的一致性，使生成的故事内容更加连贯和一致。 通过这三个阶段的训练和调优，SEED-Story能够生成丰富且连贯的叙事文本，并在角色和风格上保持一致的图片，适用于多模态长篇故事生成。 适用场景 小说创作：作家可以使用SEED-Story生成连贯的叙事文本和风格一致的插图，帮助他们快速构思和创作长篇小说。 剧本编写：编剧可以利用SEED-Story生成剧本内容和视觉元素，为电影、电视剧和舞台剧提供创意支持。 视觉故事：艺术家和设计师可以使用SEED-Story生成视觉故事，结合文本和图片，创造出引人入胜的多媒体作品。 教育和培训：教育工作者可以利用SEED-Story生成教育内容和教学材料，帮助学生更好地理解和学习复杂的概念。 广告和营销：营销人员可以使用SEED-Story生成创意广告和营销材料，吸引目标受众的注意力。 游戏开发：游戏开发者可以利用SEED-Story生成游戏剧情和视觉元素，提升游戏的故事性和沉浸感。