AnchorCrafter

3个月前发布 8 00

AnchorCrafter是由中国科学院和腾讯联手打造的一款 AI 虚拟主播带货神器。通过先进的 AI 技术,AnchorCrafter 能生成高质量、自然流畅的带货视频,大幅提升电商视频制作效率和效果。利用 HOI-appearance perception 技术,精确捕捉和控制人与商品的交互细节,确保商品外观细节和画面质量达到行业领先...

收录时间:
2025-04-08
AnchorCrafterAnchorCrafter

AnchorCrafter是由中国科学院和腾讯联手打造的一款开源AI虚拟主播带货神器。通过先进的 AI 技术,AnchorCrafter 能生成高质量、自然流畅的带货视频,大幅提升电商视频制作效率和效果。利用 HOI-appearance perception 技术,精确捕捉和控制人与商品的交互细节,确保商品外观细节和画面质量达到行业领先水平,适用于电商平台的视频制作和产品推广。 AnchorCrafter:AI 驱动的高效带货视频生成技术 技术亮点: 人-物交互建模:AnchorCrafter 不仅能驱动虚拟模特展示商品,还能精确捕捉和控制人与商品之间的交互细节,如手部与商品的接触,从而生成更加自然和真实的视频内容。 高质量视觉效果:系统通过 HOI-appearance perception 技术,融合多视角商品图像特征,确保商品在视频中的外观细节得以精准呈现,同时利用解耦网络结构来区分和优化人与物的外观,提升视觉保真度。 训练数据高效利用:尽管训练数据集相对较小(44 个网络视频和 307 个自采视频),AnchorCrafter 通过高效的训练策略,能够在有限的资源下(如 4 卡 A100 GPU,4 万个训练步,每帧 6 帧长度)产出令人满意的效果,体现了其算法的高效性和鲁棒性。 HOI-region 重加权损失:为了强化模型对手-物交互的学习,系统采用了特定的损失函数,对手和物体区域的损失进行权重增强,确保交互部分的准确性和自然度。 技术原理: 视频扩散模型:使用扩散 Unet 和变分自编码器(VAE)来处理视频帧,通过将视频序列编码为潜在空间来生成高质量的输出。 HOI-外观感知:通过提取人类和物体的外观特征,并将其整合到主干网络中来实现外观控制,使用多视角物体参考图像来增强物体外观的识别能力。 HOI-运动注入:通过注入人类运动序列来控制物体运动,并解决物体轨迹条件和遮挡管理的问题,利用深度图作为输入,保持运动的清晰性和一致性。 HOI 区域重加权损失:通过对交互区域施加更高的训练权重,增强模型对物体细节的学习,提高最终生成视频的质量和真实性。 AnchorCrafter 使用步骤: 准备材料: 提供主播的一张照片,以及想要展示的商品照片。 选择主播: 从众多网络主播中挑选一位你最中意的,用 AI 技术将其形象“复制”到虚拟世界中。 生成视频: AnchorCrafter 会自动生成一段精彩的带货视频,包括主播的动作和表情与商品的互动。 精确控制: 根据自己的需求,设计各种各样的互动动作,让主播与商品完美融合。 导出视频: 生成完成后,导出高质量的视频,用于电商平台的推广。

数据统计

相关导航

AniPortrait

AniPortrait

AniPortrait是一个由腾讯推出的音频驱动的肖像动画合成框架,能够根据音频和静态人脸图片生成逼真的动态视频。它利用音频文件驱动,生成逼真的肖像动画。用户可以通过提供一个音频文件和一张参考的肖像图片,让AniPortrait根据音频中的语音和声音的节奏来动态地生成说话或表情变化的肖像动画。此外,它还支持面部再现功能,通过分析给定视频中的面部表情和动作,可以在另一张参考肖像上再现相同的表情和动作。

暂无评论

您必须登录才能参与评论!
立即登录
none
暂无评论...