[stable-diffusion-art] 指北-5 controlnet

https://stable-diffusion-art.com/controlnet/https://stable-diffusion-art.com/controlnet/https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/mainhttps://huggingface.co/lllyasviel/ControlNet-v1-1/tree/mainControlNet V1.1 - a Hugging Face Space by hystsDiscover amazing ML apps made by the communityicon-default.png?t=N3I4https://huggingface.co/spaces/hysts/ControlNet-v1-11.安装

!wget https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11p_sd15_openpose.pth -O ./extensions/sd-webui-controlnet/models/control_v11p_sd15_openpose.pth

resolve是下载,不是blob,extensions中就是直接把代码拉倒目录下即可

2.使用

参数:

enable:是否启用controlnet
invert input color:交换黑色和白色,在上传涂鸦scribble时,controlnet需要黑色背景和白色涂鸦,
如果使用外部软件创建涂鸦,就需要对颜色进行更改
RGB to BGR:改变上传图像的颜色通道顺序,上传normal图等,如果使用processor,就不需要了,
说白了就是不使用annotator的话,可以直接原图上传,但是要改一下通道顺序
low vram:低于8g显存可以用这个
guess mode:配合更高的steps,例如50,图像生成不受文本提示的引导
preprocessor:边缘图,深度图等,None表示使用输入图作为控制图
model:和sd大模型一起使用

weight:提示给予控制图的影响程度,它类似于prompt中的关键字权重,但是作用于控制图
guidance strength:用于于controlnet的步骤数,类似于图像到图像中的去噪强度,如果strength为1,
则应用于controlnet所有的采样步骤,如果strength为0.7,则steps为50的话,controlnet将应用于
70%的采样步骤,即前35个步骤

resize mode:当输入图或控制与要生成的图像大小不同时,调整大小模型
envelope(outer Fit):裁剪控制图,使其和画布保持一致
scale to Fit:使整个控制图适合画布
just resize: 独立缩放控制图的宽度和高度,使其适合画布尺寸,将改变控制图纵横比

controlnet weight相对于prompt的遵循控制图的程度,权重越低,controlnet对于图像遵循控制图的要求越少。

3.preprocessors

canny:边缘检测器,在提取曲线和直线上不错,但是易受噪声影响

depth:深度图表征图像中目标的距离,base表示近,黑色表示远

hed:适合人检测边缘生成轮廓

mlsd:快速直线检测器,对于室内设计,建筑图,街景等,不要传入带人像或者曲线

normal:生成表面有3d质感的图

openpose:关键点

pidinet:检测曲线和直线边缘,类似于hed,但通常会产生更清晰的线条和更少的细节

scribble:涂鸦

seg:为不同对象分类不同的颜色

mlsd、depth在室内设计都不错

猜你喜欢

转载自blog.csdn.net/u012193416/article/details/130474211