Stable Diffusion
Stable Diffusion用来文字生成图片，ControlNet就是用来控制构图的，LoRA就是用来控制风格的 。
stable-diffusion-webui
国内加速官网：
mirrors / AUTOMATIC1111 / stable-diffusion-webui · GitCode
安装参考：
Stable Diffusion安装与常见错误（+Lora使用）2023年最新安装教程_cycyc123的博客-CSDN博客
ComfyUI
保姆级教程：从0到1搭建Stable Diffusion XL完整工作流进行AI绘画_WeThinkIn的博客-CSDN博客
StableDiffusion模型资源探索食用指南 - 知乎
大模型
大模型特指标准的latent-diffusion模型。拥有完整的TextEncoder、U-Net、VAE。
由于想要训练一个大模型非常困难，需要极高的显卡算力，所以绝大多数人不会训练大模型。
CKPT
经过训练的图片合集，被称作模型，也就是chekpoint
CKPT的全称为CheckPoint（检查点），完整模型的常见格式，模型体积较大，一般真人版的单个模型的大小在7GB左右，动漫版的在2-5个G之间。
早期的CKPT后缀名是ckpt，如今新的CKPT后缀名都是safetensors
VAE
全称：VAE全称Variational autoencoder。变分自编码器，负责将潜空间的数据转换为正常图像。
后缀格式：后缀一般为.pt格式。
Lora
是一种体积较小的绘画模型，是对大模型的微调。与每次作画只能选择一个大模型不同，lora模型可以在已选择大模型的基础上添加一个甚至多个。一般体积在几十到几百兆左右。
Lora的后缀名也是safetensors，对于小白来说，容易和ckpt造成误解，所以讲一下如何安装。
CKPT和lora的安装
对于绝大部分用户来说，主要用得到的模型文件就两种，一种是CKPT，一种是lora。
最好的模型下载网站，是传说中的C站，http://civitai.com（需科学上网）。
CKPT的安装路径是models\stable-diffusion 拷贝过来即可使用（只需刷新，无需重启服务）。
./stable-diffusion-webui/models/Stable-diffusionLoar的安装路径容易搞错，Stable Diffusion的安装目录下默认有个models\lora ，但很多教程都提醒并非这个lora目录，
.stable-diffusion-webui/models/Lora而是另一个：extensions\sd-webui-additional-networks\models\lora
然而事实上，默认解压缩好的Stable Diffusion是没有后面这个路径的，也不要手工创建，需要在Stable Diffusion的网页界面进行如下操作。
AI学习笔记|让数字生命更真实：模型（chekpoint）和微调模型（lora） - 知乎
Stable Diffusion XL
参考
深入浅出完整解析Stable Diffusion XL（SDXL）核心基础知识 - 知乎
上表是Stable Diffusion XL与之前的Stable Diffusion系列的对比，从中可以看出，Stable DiffusionV1.4/1.5的U-Net参数量只有860M，就算是Stable DiffusionV2.0/2.1，其参数量也不过865M。但等到Stable Diffusion XL，U-Net模型（Base部分）参数量就增加到2.6B，参数量增加幅度达到了3倍左右。
目前能够加载Stable Diffusion XL模型并进行图像生成的框架有四种：
-
ComfyUI框架
-
SD.Next框架
-
Stable Diffusion WebUI框架
-
diffusers框架
ControlNet
ControlNet是一种通过添加额外条件来控制扩散模型的神经网络结构。它提供了一种增强稳定扩散的方法，在文本到图像生成过程中使用条件输入，如涂鸦、边缘映射、分割映射、pose关键点等。可以让生成的图像将更接近输入图像，这比传统的图像到图像生成方法有了很大的改进。
ControlNet 模型可以在使用小数据集进行训练。然后整合任何预训练的稳定扩散模型来增强模型，来达到微调的目的。
- ControNet 的初始版本带有以下预训练权重。
- Canny edge — 黑色背景上带有白色边缘的单色图像。
- Depth/Shallow areas — 灰度图像，黑色代表深区域，白色代表浅区域。
- Normal map — 法线贴图图像。
- Semantic segmentation map——ADE20K 的分割图像。
- HED edge — 黑色背景上带有白色软边缘的单色图像。
- Scribbles — 黑色背景上带有白色轮廓的手绘单色涂鸦图像。
- OpenPose （姿势关键点）— OpenPose 骨骼图像。
- M-LSD — 仅由黑色背景上的白色直线组成的单色图像。
参考
使用ControlNet 控制 Stable Diffusion-腾讯云开发者社区-腾讯云
资源
lexica.art 该网站拥有数百万Stable Diffusion案例的文字描述和图片，可以为大家提供足够的创作灵感。可以提供promt灵感
Civitai是一个聚集AI绘图爱好者的社区，在此网站上有许多定制化的模型，特别是对于3D、现实、人物和不同画风进行了有针对性的训练。因此，当您使用特定的模型生成特定主题的图像时，表现力会极大加强。
Hugging Face – The AI community building the future.
HuggingFace是一个专注于构建、训练和部署最新模型的网站，这些模型由开发者个人完成训练并部署到专门的网站。
HuggingFace 是为 Stable Diffusion 构建 AI 模型的创作者的首选平台。截止目前平台上有上百个与 Stable Diffusion 相关的模型。