Magic Clothing

Magic Clothing是一个专注于控制性的服装驱动图像合成的项目，它是OOTDiffusion模型的一个分支版本，旨在通过服装来控制图像的生成。并且官方团队发布了在 768 分辨率上训练的模型权重，此版本中服装和文本提示的强度可以独立调整。以及支持与IP-Adapter-FaceID、ControlNet-Openpos模型一起使用，能够使用肖像和参考姿势图像作为附加条件。这个项目的目标是为图像合成提供更多的控制和灵活性，使得用户能够根据自己的需求创建更具个性化和创意的图像。 MagicClothing权重文件：https://huggingface.co/ShineChen1024/MagicClothing  github：https://github.com/ShineChen1024/MagicClothing/tree/main OOTDiffusion技术论文：https://arxiv.org/abs/2403.01779  IP-Adapter-FaceID：https://huggingface.co/h94/IP-Adapter-FaceID Magic Clothing的主要功能特点 控制性：用户可以通过文本提示来控制图像合成中的服装细节，从而生成定制的、穿着特定服装的人物图像。 高度可控：系统能够在生成过程中融合服装细节，实现高度可控和细粒度的图像输出。 多模态支持：支持IP-Adapter-FaceID，允许使用面部图像作为额外条件，提高图像合成的个性化和准确性。 模型更新：提供了不同分辨率的模型权重，如512和768分辨率，以及最新的1024分辨率版本，适用于VTON-HD和DressCode。 可视化工具：提供了Gradio工具，用户可以通过这些工具来探索和使用Magic Clothing的功能。 ComfyUI_MagicClothing体验 ComfyUI_MagicClothing是MagicClothing虚拟试衣的非官方实现ComfyUI插件，但也是一款强大的ComfyUI插件，支持功能如下： 通过提示生语成服装图像 IPAdapter FaceID 配合人脸检测和服装图像合成  IPAdapter FaceID 配合 controlnet openpose 和服装图像合成 支持上半身、下半身和全身模型 ComfyUI_MagicClothing插件安装 可以使用插件管理器搜索ComfyUI_MagicClothing安装，或者采用Git工具安装。 Git安装如下 在 ComfyUI 的 custom_nodes 目录下运行下列CLI命令 git clone https://github.com/frankchieng/ComfyUI_MagicClothing.git pip install -r requirements.txt 模型下载 需要从Huggingface下载 cloth_segm.pth, magic_clothing_768_vitonhd_joint.safetensors（上半身模型）, OMS_1024_VTHD+DressCode_200000.safetensors（下半身和全身模型）3个模型，并将它们放置在ComfyUI/custom_nodes/ComfyUI_MagicClothing/checkpoints 目录下。 同时，如果需要体验 ipadapterfaceid保持面部风格一致性迁移，那么还需要安装 ComfyUI_IPAdapter_plus 自定义节点。然后从IPAdapter FaceID 模型，并将它们放置在对应目录结构下。 另外，如果还想运行 controlnet openpose 部分，那么必须安装 comfyui_controlnet_aux 插件，以及下载 openpose 模型中的 body_pose_model.pth, facenet.pth 和 hand_pose_model.pth，并将它们放置在 custom_nodes/comfyui_controlnet_aux/ckpts/lllyasviel/Annotators目录下。 还有部分模型会在运行时根据用户选项下载（如openpose模型 body_pose_model.pth, facenet.pth 和 hand_pose_model.pth），因此需要能访问huggingface。 文件结构如下： ComfyUI |– models | |– ipadapter | | |– ip-adapter-faceid-plus_sd15.bin | | |– ip-adapter-faceid-plusv2_sd15.bin | | |– ip-adapter-faceid_sd15.bin | |– loras | | |– ip-adapter-faceid-plus_sd15_lora.safetensors | | |– ip-adapter-faceid-plusv2_sd15_lora.safetensors | | |– ip-adapter-faceid_sd15_lora.safetensors |– custom_nodes | |– ComfyUI_MagicClothing | | |– checkpoints | | | |– cloth_segm.pth | | | |– magic_clothing_768_vitonhd_joint.safetensors | | | |– OMS_1024_VTHD+DressCode_200000.safetensors MagicClothing模型体验 01. simple workflow 02. IPAdapater FaceID workflow 03. IPAdapater FaceID chained with controlnet openpose workflow 04. full-body workflow with IPadapterFaceid 注：实践效果中对于人物面部特征保持相对弱，作者也提到很快会有人物细节更好改善版模型。目前内置模型为SD1.5模型，作者称将会尝试dreamshape8, xxmix9realistic_v40等SDXL模型。 附录  github：https://github.com/ShineChen1024/MagicClothing/tree/main  插件：https://github.com/frankchieng/ComfyUI_MagicClothing/tree/main