ControlNet はSD において非常に重要なプラグインであり、このプラグインについては以下で詳しく紹介します。
コントロールネット
ControlNet は、追加の条件を追加することで拡散モデルを制御するニューラル ネットワーク構造です。簡単に言うと、ControlNet は、Stable Diffusion が画像を生成する際の制約です。たとえば、生成された画像内のキャラクターのポーズを制限します。
Cannyエッジ検出の例
ワークフロー: エッジ検出は、入力画像から画像の輪郭を抽出し、プロンプト ワード以外の追加条件として入力し、安定拡散グラフィックスの構築に参加し、グラフィックスの生成を制御します。
先ほどの例では、全体画像の背景と服装はそのままで、髪の色を変更しました。詳しくはこちらの記事をご覧ください： AI描画（7）安定拡散描画の部分再描画
人間の姿勢検出
Openpose は、手、脚、頭の位置などの人間のポーズを抽出できる高速人間キーポイント検出モデルです。詳しくはこちらの記事をご覧ください： AI描画⑥安定した拡散描画と描画
ワークフロー: OpenPose を使用して入力画像からキーポイントが抽出され、キーポイントの位置を含むコントロール マップとして保存されます。これは、画像がこれら 2 つの条件に基づいて生成されたことを示すテキスト ヒントとともに、追加条件として安定拡散に与えられます。
Canny エッジ検出と OpenPose の使用の違いは何ですか?
Cannyエッジ検出器は、被写体と背景の類似したエッジを抽出します。シーンを翻訳する傾向があります。先ほどのAI描画例（7）安定拡散描画の部分再描画では、黒髪の女性が赤髪の女性になっていますが、輪郭や髪型は保たれていることがわかります。
OpenPose は、頭や腕の位置など、人体の重要なポイントのみを検出します。画像生成はより自由ですが、元のポーズに従います。
ControlNet プラグインの紹介
インターフェイスを次の図に示します。
関連ボタンの紹介:
有効/有効: ControlNetを起動するかどうか
低メモリ モード/低 VRAM:グラフィック カードのビデオ メモリが十分でない場合に開きます。
Pixel Perfect: ControlNet は、画像内で指定された画像の高さと幅を使用して、前処理された画像を生成します。
プレビューを許可: 前処理されたグラフィックをプレビューする必要があるかどうか
前処理/プリプロセッサ:通常の画像を入力すると、前処理後に処理されます。たとえば、画像をアップロードする場合、OpenPose モデルは画像をポーズ マップに処理します。
写真をアップロードするには、まず [プレビューを許可] を選択し、次に [前処理/プリプロセッサ] の横にある展開ボタンを選択します。
前処理された結果が右側の画像ボックスに表示されます
モデル/モデル: [前処理/プリプロセッサ]を選択したら、次は[モデル/モデル]を選択します。
例えば;
ポーズ検出/openpose -- control_v11p_sd15_openpose
ラインドラフト検出/キャニー -- control_v11p_sd15_canny
詳細なControlNetモデル
モデルを選択する際、ControlNet モデルは数多くあることがわかりますが、必要な機能を簡単かつ迅速に検索できるように、機能の次元に応じて次のようなマインド マップを作成しました。機能の分割はhttps://github.com/lllyasviel/ControlNetを参照します。
人体のポーズをとる
[人間のポーズの設定] を参照してください。これは人間のポーズを設定するための 5 つの前処理モジュールに対応します。前処理モデル [openpose]、モデル選択 [control_v11p_sd15_openpose] を選択します。前処理モデルとモデルは 1 対 1 に対応していることに注意してください。
プロンプト：
最高品質、傑作、超高解像度、リアル、女の子、ワイドショット、全身、長い黒いストレートヘア、大きな青い目、黒ジーンホワイトタイツ、成人女性、アジア人、木、海
否定的なプロンプト:
突然変異した手と指、変形した、解剖学的構造が悪い、外観が損なわれ、顔の描き方が下手、突然変異した、余分な手足、醜い、下手に描かれた手、手足が欠けている、浮いている手足、切り離された手足、奇形の手、焦点が合っていない、長い首、長い胴体
スタイル/色を変更する
現在の画像のスタイルや色を変更したい場合は、canny と hed を使用できます。どちらもエッジ検出モデルであり、これら 2 つのモデルは画像の全体的な構成を保持します。hed は canny よりも多くの詳細を保持しますが、それは個人の好みによって異なります。
前処理モデル[線抜け検知/canny]はモデル[control_v11p _sd15_canny]と併用します。
前処理モデル [softedge_hed] はモデル [control_v11p_sd15_softedge] とともに使用されます。
hed は canny よりも多くの詳細を保持していることがわかります。具体的な使用方法は個々の状況によって異なります。
エピローグ
ということで、今日はこちらをご紹介します。興味のある友人は私たちをフォローしてください。私たちはこの一連のチュートリアルを更新し続けます。
良いと思ったら、私をフォローして、今後さらに多くのコンテンツがリリースされる予定です。また、私たちの惑星に参加し、公式アカウントに注目し、「planet」に返信して、招待コードを取得することもできます、参加することができます。私たちの惑星が何なのかわからない場合は、詳細な紹介が記載されているこの記事を読むことができます。
AI ツールを強化して効率的な収益化を実現し、早期退社を実現
「AI高効率化【仕事・勉強】」で友達と面白い話題を話し合っています、一緒にやりませんか？
https://t.zsxq.com/11KVfN0RChttps://t.zsxq.com/11KVfN0RCパブリック アカウント @AI宅player No. 2 プレーヤーは、学習と仕事を支援するために AI に依存する熱心な実践者です。ネットワーク全体には 20,000 人以上のファンがおり、シャオバイもプレイできる AI は継続的に更新されているため、2 時間早く仕事を終えることができます。
What's on the Planet:
e-competition コラム、ディープラーニング コラム、AI 支援学習コラム、AI ツール収益化コラムなど。群衆に適しています:
学校の学生: 私の経験があなたが遭遇する問題の解決に役立つことを願っています
開発者: 自分の経験を共有することで、自分の道を広げ、より多くのことを学ぶことができます
副業でお金を稼ぎたい: 私たちは AI を使用しています現金を実現する方法は副業でお金を稼ぐのに役立ちます
実際、厳格な基準は私たちの無限の可能性を制限することはできません。さあ、みんな！