
BrushNet是腾讯PCG和香港中文大学联合共同提出一个基于扩散模型的文本引导图像修复模型。它采用了独特的双分支结构来处理被遮挡的图像特征和噪声潜变量,极大地减轻了模型的学习负担。此外,BrushNet能够在任何预训练的扩散模型上即插即用,提供了密集的像素级控制,使其非常适合图像修复任务。 具体来说,BrushNet的设计包括两个关键的洞见: 将蒙面图像特征和噪声潜伏分开处理,减少了模型的学习负担; 通过对整个预训练模型进行密集的每像素控制,增强了其适用于图像修复任务的能力。 项目相关地址: 项目主页:https://tencentarc.github.io/BrushNet/ github:https://github.com/TencentARC/BrushNet 技术论文:https://arxiv.org/pdf/2403.06976 ComfyUI-BrushNet:https://github.com/nullquant/ComfyUI-BrushNet 主要功能特点 即插即用:BrushNet可以直接嵌入到任何预训练的扩散模型中,无需对模型进行重大修改或重新训练。 双分支结构:它采用了一个独特的双分支结构,将蒙面图像特征和噪声潜变量分开处理,这样做可以减轻模型的学习负担,并提高修复质量。 密集的像素级控制:BrushNet提供了密集的每像素控制,这意味着用户可以精细调整图像的每个像素,以获得更好的修复效果。 图像修复:它专门设计用于图像修复任务,能够处理各种复杂的蒙版形状和图像内容,保证修复结果的连贯性和增强效果。 BrushData和BrushBench:为了促进基于分割的修复训练和性能评估,BrushNet引入了BrushData和BrushBench,这两个工具可以帮助用户更好地训练和评估模型。 BrushNet模型架构 BrushNet 模型在给定遮罩和遮罩图像输入的情况下输出修复后的图像。 首先,对遮罩进行下采样以适应潜在空间的大小,并将遮罩图像输入到 VAE 编码器中以对齐潜在空间的分布。 然后,将噪声潜在、遮罩图像潜在和下采样遮罩作为 BrushNet 的输入进行连接。从 BrushNet 提取的特征在零卷积块后逐层添加到预训练的 UNet 中。去噪后,生成的图像和遮罩图像使用模糊遮罩进行混合。 BrushNet模型架构 BrushNet模型ComfyUI体验 当前社区已有ComfyUI插件支持BrushNet模型的体验了,插件地址为:https://github.com/nullquant/ComfyUI-BrushNet。 1、首先通过ComfyUI插件管理器搜索ComfyUI-BrushNet,并安装插件。 2、下载对应模型,并放置在ComfyUI/models/inpaint目录下。如果需要使用PowerPaint,则还需要获取 SD1.5 文本编码器模型 model.fp16.safetensors。它应该放置在您的 models/clip 文件夹中。下载地址为:https://huggingface.co/runwayml/stable-diffusion-v1-5/tree/main/text_encoder 4、导入工作流,并重启ComfyUI。
数据统计
相关导航

SUPIR是一个开源AI图像高清修复工具,可以修复图像中的错误和缺失,完成智能图像增强。无论是模糊、噪点还是色彩问题,SUPIR都能迅速进行处理,使照片焕然一新。这个工具能够根据用户的简单描述,智能地进行修复,满足用户的期望。

PhotoG
PhotoG是一款基于真实世界对象的生成式AI商拍工具,致力于帮助用户将创意快速转化为高质量视觉内容。它利用生成式 AI 技术,帮助用户根据真实世界对象生成逼真的产品照片和场景效果。无论是电商卖家想展示商品,还是设计师需要快速生成样板间,PhotoG 都能通过智能技术实现场景复现,提供高质量的视觉内容,极大地提升商拍效率和效果。

Studio Ghibli AI
Studio Ghibli AI 是一个 AI 图像生成平台,可以让你的 照片瞬间变成吉卜力风格,或者根据你的 文字描述生成宫崎骏动画风格的插画。不用会画画,只要提供图片或文字,AI 就能帮你打造 充满奇幻感的吉卜力艺术作品!

Simpleish
Simpleish是一款基于人工智能技术的一键式图像去背景工具。它可以快速地将图片背景去除并转换为透明背景。使用者只需上传图片,Simpleish会自动识别并处理,只需五秒钟即可完成背景的100%去除,同时保持照片主体有清晰、平滑的剪裁轮廓。

象寄翻译
象寄翻译是象寄科技推出的一款AI图片和视频翻译神器,它基于文本识别、文本翻译以及图像修复、视频修复等技术,为用户提供高效精准的翻译服务。在AI的加持下,象寄翻译可以最大限度地保留原图片和视频的质量,将文字准确翻译成用户想要的语种。无论是需要处理大量图片或视频的用户,还是对翻译质量有严格要求的个人或企业,象寄翻译都能满足其需求。

BrushNet
BrushNet是腾讯PCG和香港中文大学联合共同提出一个基于扩散模型的文本引导图像修复模型。它采用了独特的双分支结构来处理被遮挡的图像特征和噪声潜变量,极大地减轻了模型的学习负担。此外,BrushNet能够在任何预训练的扩散模型上即插即用,提供了密集的像素级控制,使其非常适合图像修复任务。

MimicBrush
MimicBrush是一种新型的零样本图像编辑技术,由阿里巴巴和香港大学的研究团队共同推出。它允许用户通过上传参考图片来实现原图的局部风格重绘。用户只需指定待编辑的区域并提供一张参考图片,MimicBrush就能够自动理解并模仿参考图片的风格,完成编辑任务。

PikFlow
PikFlow是一个AI图像生成和编辑平台。利用先进的人工智能技术,PikFlow提供了文本到图像生成、老照片修复、背景移除和高分辨率放大,甚至将2D图像转换为3D模型等功能。不管你是电子商务产品摄影、数字艺术创作还是家庭照片修复,PikFlow都能帮助用户轻松实现创意目标。
暂无评论...