I. 概要
この章は、シリーズ「安定拡散のエントリーレベルからエンタープライズレベルの実践」の第 4 部、高度な機能の第 4 章「Stable Diffusion ControlNet v1.1 精密画像制御」セクション 02 であり、Stable Diffusion ControlNet を使用します。画像生成を正確に制御するオープンポーズモデル。前のセクションでは、「安定拡散制御ネット修復モデルの精度制御」について紹介しました。この部分の内容は、以下の黄色の部分に示すように、安定拡散エコシステム全体に位置します。
2. 定義
ControlNet v1.1 は合計 14 の機能モデルを提供しており、各モデルは適用可能なビジネス シナリオに対応しています。具体的なモデル情報は次の図に示されています。
この記事では、Stable Diffusion の画像生成プロセスにおいて Openpose 姿勢推定技術と組み合わせて、人間の姿勢に基づいた画像生成を実現する ControlNet Openpose モデルを紹介します。
Openpose は、深層学習を通じて人間の姿勢を推定するツールです。写真や動画から人体を検出し、要点を特定し、人体の骨格図や姿勢を出力します。
3. 作業の流れ
ControlNet Openpose を使用するワークフローを次の図に示します。
ワークフローの完全な説明は次のとおりです。
- Openposeを使用して、入力された人体ポーズ画像を検出し、人体骨格のキーポイントを抽出します。
- 抽出したスケルトンキーポイントを条件としてStable Diffusionに入力します。
- 安定拡散は、キーポイントとその他のテキストの説明を組み合わせて、対応する人間のポーズを持つ新しい画像を生成します。
4. 創造的な成果
ControlNet Openpose テクノロジーを利用し、姿勢検出を通じて正確な画像制御の効果を以下の図に示します。
ターゲット人物とソース人物は同じ姿勢情報を保持します。
5. 創作プロセス
5.1 作業手順
以下の図に示すように、作成プロセス全体は 4 つのステップに分けることができます。
環境の展開: ControlNet Openpose WebUI サービスを開始します。
モデルのダウンロード: ControlNet Openpose WebUI モデルをダウンロードします。
作戦戦闘: 入力を選択し、パラメータを設定して実行します。
デモを実行します。画像生成の効果を示します。
5.2 環境の展開
基盤となる実装の理解に対する統合カプセル化の影響を軽減するために、統合ビジュアル インターフェイス環境の代わりに ControlNet v1.1 ネイティブ フレームワーク展開を使用します。特定の ControlNet Openpose サービス プログラムを次の図に示します。必要なのは以下のことだけです。プログラムを開始します:
5.3 モデルのダウンロード
次の図に示すように、ControlNet v1.1 Openpose 事前トレーニング モデルは主に 2 つあります。
5.4 実際の操作
ビジュアルな操作インターフェイスなので、操作方法やプロセスが一目で理解できますが、ここでは詳しい説明は省略し、次の図に示すように、設定インターフェイスに直接進みます。
5.5 デモの実行
6. まとめ
この章は、シリーズ「安定拡散のエントリーレベルからエンタープライズレベルの実践」の第 4 部、高度な機能の第 4 章「Stable Diffusion ControlNet v1.1 精密画像制御」セクション 02 であり、Stable Diffusion ControlNet を使用します。画像生成を正確に制御するオープンポーズモデル。前のセクションでは「Stable Diffusion ControlNet Inpaint Model Precision Control」について紹介しましたが、次のセクションでは「Stable Diffusion ControlNet Canny エッジ検出を使用して画像生成を正確に制御する」方法を説明します。