【Stable Diffusion】lora的基础使用技巧

1.用lora配套的大模型效果更好
lora训练是根据大模型作为参考,lora是根据那个大模型来训练参数的
在这里插入图片描述
例如,这里以墨心lora为例,点击示例图片的中的“?”,在Model中就显示出了作者用于训练墨心lora的底模了
2.最好使用和作者相同的参数
还是以墨心lora为例,可以看到示例图片中有Sampler、Model、CFG scale等参数
在这里插入图片描述

(1)Sampler——采样方式,在Stable Diffusion WebUI中的Sampling method中进行选择
(2)Model——作者使用的大模型,在Stable Diffusion WebUI中的Stable Diffusion checkpoint中进行选择
(3)CFG scale——提示词相关性,在Stable Diffusion WebUI中的CFG scale进行调整
(4)Steps——采样迭代步数,在Stable Diffusion WebUI中的Sampling steps中进行调整
(5)Seed——随机种子,在Stable Diffusion WebUI中的Seed中进行调整
Stable Diffusion WebUI中的参数调整位置(除了Stable Diffusion checkpoint在页面最上方)如下:
在这里插入图片描述
值得注意的是,在复制示例图片的Prompt和Negative prompt的提示词时,要注意示例图片的lora词和最后作者发布显示的lora词不一样,例如,这里,示例图片中的使用了两个lora,分别是: lora:shukezouma_v1_1:0.8和lora:shuimobysimV3:0.7
在这里插入图片描述
我们分别下载这两个lora,在页面的上方就显示了这两个lora,点击后进行下载(是的,有时一个页面中可能可以下载多个lora,在Stable Diffusion中配合使用)
在Stable Diffusion WebUI中,我们点击这两个lora,显示的分别是 lora:shukezouma_v1_1:1和 lora:MoXinV1:1,也就是说作者发布的lora名称和示例图片中的lora名称不一样,要注意调整,并将权重值调整为示例图片的权重值

在这里插入图片描述
调整好后,生成图片效果如下:
在这里插入图片描述
可以在示例图片的参数的基础上做进一步尝试和调整,在保证一定质量的基础上,生成更有创意的图片

3.正确地设置lora的使用权重
lora的权重值不要在1以上,不然容易出效果很差的图,权重值最好设置到0.8、0.9能够提高出图质量,如果只想带一点点lora的元素,权重值设置到0.4-0.6就可以了
4.有触发词一定要使用触发词
将Trigger words中的词,选择需要的加入到Prompt中,才能将相应的元素触发出来(有的在Trigger words中的上方有个Tag栏,Tag是lora的标签表示lora大概是什么特征,不是触发词,不需要管tag)
在这里插入图片描述
有的时候,作者并没有给出Trigger Words,此时直接把lora加载进去,也能发挥作用

5.新手尽量不要混用lora
除非lora作者给了非常成熟的建议
因为并不了解每个lora的提示词触发词的训练图集,启用时很容易打架、互相污染,如果一定要多个lora混用,需要学习lora把里面的十几个层分别抽出来单独设置权重,再进行使用,这样的多个lora的混用效果才比较好

猜你喜欢

转载自blog.csdn.net/weixin_47970003/article/details/130257463