AnchorCrafter

AnchorCrafter是由中国科学院和腾讯联手打造的一款开源AI虚拟主播带货神器。通过先进的 AI 技术，AnchorCrafter 能生成高质量、自然流畅的带货视频，大幅提升电商视频制作效率和效果。利用 HOI-appearance perception 技术，精确捕捉和控制人与商品的交互细节，确保商品外观细节和画面质量达到行业领先水平，适用于电商平台的视频制作和产品推广。 AnchorCrafter：AI 驱动的高效带货视频生成技术 技术亮点： 人-物交互建模：AnchorCrafter 不仅能驱动虚拟模特展示商品，还能精确捕捉和控制人与商品之间的交互细节，如手部与商品的接触，从而生成更加自然和真实的视频内容。 高质量视觉效果：系统通过 HOI-appearance perception 技术，融合多视角商品图像特征，确保商品在视频中的外观细节得以精准呈现，同时利用解耦网络结构来区分和优化人与物的外观，提升视觉保真度。 训练数据高效利用：尽管训练数据集相对较小（44 个网络视频和 307 个自采视频），AnchorCrafter 通过高效的训练策略，能够在有限的资源下（如 4 卡 A100 GPU，4 万个训练步，每帧 6 帧长度）产出令人满意的效果，体现了其算法的高效性和鲁棒性。 HOI-region 重加权损失：为了强化模型对手-物交互的学习，系统采用了特定的损失函数，对手和物体区域的损失进行权重增强，确保交互部分的准确性和自然度。 技术原理： 视频扩散模型：使用扩散 Unet 和变分自编码器（VAE）来处理视频帧，通过将视频序列编码为潜在空间来生成高质量的输出。 HOI-外观感知：通过提取人类和物体的外观特征，并将其整合到主干网络中来实现外观控制，使用多视角物体参考图像来增强物体外观的识别能力。 HOI-运动注入：通过注入人类运动序列来控制物体运动，并解决物体轨迹条件和遮挡管理的问题，利用深度图作为输入，保持运动的清晰性和一致性。 HOI 区域重加权损失：通过对交互区域施加更高的训练权重，增强模型对物体细节的学习，提高最终生成视频的质量和真实性。 AnchorCrafter 使用步骤： 准备材料： 提供主播的一张照片，以及想要展示的商品照片。 选择主播： 从众多网络主播中挑选一位你最中意的，用 AI 技术将其形象“复制”到虚拟世界中。 生成视频： AnchorCrafter 会自动生成一段精彩的带货视频，包括主播的动作和表情与商品的互动。 精确控制： 根据自己的需求，设计各种各样的互动动作，让主播与商品完美融合。 导出视频： 生成完成后，导出高质量的视频，用于电商平台的推广。