一步一步学习 Stable Diffusion

0. 背景

网上看了很多 Stable Diffusion 的视频,还有一些网站的资料之后,决定自己整理一份一步一步学习 Stable Diffusion 的学习资料。

1. 安装

请参照 Windows 11 本地部署 Stable Diffusion web UI 或者 Windows 11 上从零开始基于 wsl-ubuntu 搭建 AI 学习环境及部署多种私有 ChatGPT 进行部署。

2. 汉化

访问 Extensions => Available 标签,去掉 localization 勾选,然后单击 “Load from”,

在这里插入图片描述
在 Search 处输入 zh,然后单击 Install 安装 “zh_CN Localization localization”,

在这里插入图片描述
单击 Installed 标签,然后单击 “Apply and restart UI” 重新启动 UI。

在这里插入图片描述
单击 Settings => User interface,将 Localization 设置为 zh_CN,然后单击 “Apply settings”,在然后单击 “Reload UI”,

在这里插入图片描述
这样,Stable Diffusion 的环境就变成中文了。

在这里插入图片描述

3. 安装 sd-webui-controlnet 插件

单击扩展=>从网址安装,输入以下内容,然后单击安装,

  • 扩展的 git 仓库网址:https://github.com/Mikubill/sd-webui-controlnet

在这里插入图片描述
然后单击已安装,单击应用并重启用户界面,

在这里插入图片描述

访问 https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main 下载模型文件,只需要下载扩展名是 .pth 的文件,总共 14 个文件,大概 20GB。

在这里插入图片描述
在这里插入图片描述

然后将下载的文件保存到 stable-diffusion-webui\extensions\sd-webui-controlnet\models 目录下,

在这里插入图片描述
额外配置,

在这里插入图片描述

4. 安装 sd-webui-segment-anything 插件

单击扩展=>从网址安装,输入以下内容,然后单击安装,

  • 扩展的 git 仓库网址:https://github.com/continue-revolution/sd-webui-segment-anything

然后单击已安装,单击应用并重启用户界面,

在这里插入图片描述

下载模型文件 https://dl.fbaipublicfiles.com/segment_anything/sam_vit_h_4b8939.pth,保存到 stable-diffusion-webui\extensions\sd-webui-segment-anything\models\sam 目录下,

在这里插入图片描述

5. 安装 ultimate-upscale 插件

单击扩展=>从网址安装,输入以下内容,然后单击安装,

  • 扩展的 git 仓库网址:https://github.com/Coyote-A/ultimate-upscale-for-automatic1111

然后单击已安装,单击应用并重启用户界面,

在这里插入图片描述

下载模型文件 https://huggingface.co/lokCX/4x-Ultrasharp/resolve/main/4x-UltraSharp.pth,保存到 stable-diffusion-webui\models\ESRGAN 目录下,

在这里插入图片描述

6. 安装 SadTalker 插件

单击扩展=>从网址安装,输入以下内容,然后单击安装,

  • 扩展的 git 仓库网址:https://github.com/OpenTalker/SadTalker

然后单击已安装,单击应用并重启用户界面,

在这里插入图片描述

下载模型文件 https://github.com/OpenTalker/SadTalker/releases,保存到 stable-diffusion-webui\extensions/SadTalker/checkpoints 目录下,解压 BFM_Fitting.ziphub.zip 到当前文件夹,

在这里插入图片描述

7. 下载和配置 VAE 模型

下载下面几个 VAE 模型,

保存到 stable-diffusion-webui\models\VAE 目录下,

在这里插入图片描述
访问设置=>“Stable Diffusion”,启用模型的 VAE。

在这里插入图片描述

8. 使用 ChilloutMix 模型

下载 (ChilloutMix](https://civitai.com/models/6424/chilloutmix) 模型,保存到 stable-diffusion-webui\models\Stable-diffusion 目录下。

下载 LoRA 微调模型,先下载这 2 个体验一下,保存到 stable-diffusion-webui\models\Lora 目录下。

在这里插入图片描述

99. 未完待续

未完待续!

猜你喜欢

转载自blog.csdn.net/engchina/article/details/131017384