ControlNet v1.1:简短指南

027458460fa2d468d183140f3e6eae70.png

教程参考:

https://stable-diffusion-art.com/controlnet

借助 ControlNet,Stable Diffusion 用户终于可以精确地控制对象的位置和外观!

Canny边缘检测示例

c7d0562b6fdd559d8a062da3a0dcf139.jpeg


OpenPose 人体姿势检测示例

68fd14b928dff755de56f9ae99757c03.png

Canny 边缘检测器提取主体和背景的相似边缘。它倾向于更忠实地翻译场景。可以看到跳舞的男人变成了女人,但轮廓和发型都保留了下来。

OpenPose 只检测人体关键点,如头部、手臂等位置。图像生成更自由,但遵循原始姿势。

在AUTOMATIC1111中安装 ControlNet

https://github.com/AUTOMATIC1111/stable-diffusion-webui

https://github.com/Mikubill/sd-webui-controlnet

T2I 适配器是神经网络模型,用于为扩散模型的图像生成提供额外的控制。它们在概念上类似于 ControlNet,但设计不同。

许多 T2I 适配器的功能与 ControlNet 模型重叠。重点了解以下两个。

t2iadapter_color_sd14v1.pth

t2iadapter_style_sd14v1.pth

预处理器预览

1/ 选择允许预览。

2/ 或者选择Pixel Perfect。ControlNet 将使用您在文本到图像中指定的图像高度和宽度来生成预处理图像。

3/ 单击预处理器下拉菜单旁边的爆炸图标。

5db201918aaa15912a86f826e693762e.png

Reference

一组新的预处理器,可让您生成与参考图像相似的图像。图像仍会受到稳定扩散模型和提示的影响。

输入

75bb6a2431040e79f19b11a0735eb7e0.png

生成结果

2c301b36c0b2552969e706cd3fd384e6.png


Clip vision 型 T2I 适配器

t2ia_style_clipvision将参考图像转换为 CLIP 视觉嵌入。此嵌入包含有关图像内容和样式的丰富信息。

输入:

dfc295a3761499e9ae656cf2acab9f06.png

输出

41429865edb158c8068cae631a8815dc.png

该功能与Reference ControlNet非常相似,但 T2IA CLIP vision 似乎效果更好。

以上为精简的指南,详细的可参考原文or领取资料包

530aa4cbb151b9170c3c537ef8a13eb5.png

844339c23d8be4156dfa657a8578b4ce.jpeg

扫码备注:资料包

猜你喜欢

转载自blog.csdn.net/shadowcz007/article/details/130939346