妙笔

妙笔是阿里巴巴最新开源的中文文生图模型，它与经典的Stable Diffusion 1.5版本结构相同，兼容现有的lora、controlnet等主流插件及其权重。妙笔的特点是用户可以直接输入中文进行文生图操作，生成的图像效果逼真。例如，输入“枯藤老树昏鸦，小桥流水人家。水墨画。”，妙笔能够理解诗句中的意境并生成相应的图像。 妙笔的训练数据包括Laion-5B中的中文子集、Midjourney相关的开源数据以及数十万的caption数据。但由于数据集在成语和古诗词方面存在偏差，对中国名胜地标建筑数据的缺少，以及大量的英译中数据，可能会导致一些理解上的混淆。目前，妙笔Beta0.9版本已经在8张4090显卡上完成训练，开发者也在计划扩展机器资源以训练更高级的模型，以期获得更优的结果。 妙笔的使用也非常简单，用户只需克隆项目并安装所需的包，下载模型权重后即可开始生成图像。此外，妙笔还提供了多种示例和教程，帮助用户快速上手和掌握使用方法。 妙笔直接输入中文就可以完成文生图操作，使用起来非常便捷，生图的效果也十分逼真。 比如输入“枯藤老树昏鸦，小桥流水人家。水墨画。”来看秒笔生成结果。可以看出妙笔很好的表达出来诗句中的意思并生成了诗中的内容。 再比如输入“极具真实感的复杂农村的老人肖像，黑白。” 可以看出生成的人像具有很好的完整性和真实感，以往生图模型在生成人像方面的缺点在这也都完成的很好。 项目地址 https://github.com/ShineChen1024/MiaoBi 安装运行 1.克隆项目 git clone https://github.com/ShineChen1024/MiaoBi.git 2.创建虚拟环境并安装所需要的包 conda create -n MiaoBi-SD python==3.10 conda activate MiaoBi-SD pip install torch==2.0.1 torchvision==0.15.2 numpy==1.25.1 diffusers==0.25.1 opencv 3.下载模型 从Huggingface下载权重，并把它放在检查点文件夹。 MiaoBi checkpoints下载链接 Diffuser使用 from diffusers import StableDiffusionPipeline from transformers import AutoTokenizer tokenizer = AutoTokenizer.from_pretrained(“checkpoints/miaobi_beta0.9/tokenizer”,  trust_remote_code=True) pipe = StableDiffusionPipeline.from_pretrained(“checkpoints/miaobi_beta0.9”) pipe.to(“cuda”) prompt = “一只穿着铠甲的猫” image = pipe(prompt).images[0] image.save(“铠甲猫.png”) 模型推理 python demo python miaobi_generate.py ###controlnet demo python miaobi_controlnet.py 中文生图示例 一只精致的陶瓷猫咪雕像，全身绘有精美的传统花纹，眼睛仿佛会发光。 动漫风格的风景画，有山脉、湖泊，也有繁华的小镇子，色彩鲜艳，光影效果明显。 车水马龙的上海街道，春节，舞龙舞狮。 局限性 妙笔的训练数据包含Laion-5B中的中文子集（经过清洗过滤），Midjourney相关的开源数据（将英文提示词翻译成中文），以及收集的一批数十万的caption数据。 由于整个数据集大量缺少成语与古诗词数据，所以对成语与古诗词的理解可能存在偏差，对中国的名胜地标建筑数据的缺少以及大量的英译中数据，可能会导致出现一些对象的混乱。 妙笔Beta0.9在8张4090显卡上完成训练，目前也在拓展机器资源来训练SDXL来获得更优的结果，期待后续的更新。