Lora Raiders - 実用的なかわいいペットの写真の生成
前に書かれた言葉
最近、小紅書でかわいいペットのとても可愛くて美しい写真をたくさん見つけました。これらの素晴らしい写真にとても魅了されています。
そこでAIを使ってStableDiffusion（以下SD）をペイントすることを考えました。
以下は、使用されるすべてのマテリアルがネットワーク ディスクにパッケージ化されていることを含む、詳細な実際の操作の全プロセスです。
最後の試行の最終結果は次のとおりです。
他の写真については、ネットワーク ディスクを確認してください。
「かわいいペットの写真とキーワード」
リンク: https://pan.quark.cn/s/ba9c3e8ef92a
StableDiffusion について詳しく知りたい場合は、以下を参照してください。
元のリンクは読みやすいです: AI Painting: StableDiffusion Alchemy Lora Raiders - Actual Combat Cute Pet Picture Generation
1: 準備する
必要な情報はネットワーク ディスクにパッケージ化されており、必要に応じて自分でダウンロードできます。
クォークネットワークディスクを使って「StableDiffusion錬金術情報」を共有しました
ネットワークディスクリンク: https://pan.quark.cn/s/3c8cc96f3221
2. ローラの役割
LORA を使用すると、特定の文字、オブジェクト、特別なストローク、および特別なトレーニングのサブセットに属する特別なスタイルやスタイルを簡単に描くことができます。
1.AIモデル
あなた自身のモデルを作成し、このモデルにあなた自身の製品を着用させます
2. ローラの服を洗練する
Lora の服を追加すると、キャラクターに特定の服を着させることができます
3. 描画スタイル・画面背景を変更する
Lora を追加して写真のスタイルを変更します。このスタイルは自分でトレーニングできます
ローラモデルとは一体何なのでしょうか？
専門的な説明
LoRA の正式名はLoRA: Low-Rank Adaptation of Large Language Modelsであり、安定拡散 (SD) モデルのプラグインとして理解できます。ハイパーネットワークや controlNet と同様に、少量のデータを使用せずに使用します。 SD モデルの変更 データは、カスタマイズされたニーズを達成するために絵画スタイル/IP/キャラクターをトレーニングし、必要なトレーニング リソースは SD モデルのトレーニングよりはるかに少ないため、コミュニティ ユーザーや個人の開発者に非常に適しています。LoRA はもともと NLP 分野で GPT-3 (つまり、ChatGPT の前身) などのモデルを微調整するために適用されました。GPTパラメータの数が1000億を超え、学習コストが高すぎるため、LoRAでは低ランクの行列（低ランク行列）のみを学習させ、利用時にLoRAモデルのパラメータをSDモデルに注入する手法が採用されています。 SD モデルの変更 スタイルを生成するか、新しいキャラクター/IP を SD モデルに追加します。
よくある説明
Lora はキャラクターやオブジェクトの特徴を再現したり、キャラクターの動きを修正したり、写真のスタイルを変更したりできます
また、Lora は少量のデータのみでトレーニングできるため、大規模なモデルをトレーニングするよりもはるかに簡単です。
自分のローラをトレーニングして、カスタマイズした写真を作成できます
しかし、特に細部の点において、現在のローラが 100% 同一であることはありえないと言わざるを得ません。
しかし、その後のテクノロジーの発展により、ローラの時代もそう遠くないと私は考えています。
3. 独自の Lora モデルを改良するにはどうすればよいですか?
ローラを洗練させる方法はたくさんあります
トレーニング用のスクリプトと、Web サイトのインターフェイスでのトレーニングがあり、最近、多くの友人が Lora をトレーニングするための統合パッケージを作成しました。
Lora モデルを作成するには、スクリプトによるトレーニング、Web インターフェイスによる操作など、さまざまな方法があります。最近では、一部の専門家が、Lora トレーニング用のワンクリック統合パッケージを提供しています。これらのメソッドは表面的には異なるように見えますが、実際にはトレーニング ロジックは同じです。
したがって、統合パッケージの使用を選択できます。統合パッケージの利点は、錬金術に必要なすべてのツールと手順が 1 つのソフトウェアに統合され、より便利で効果的なトレーニング方法が提供されることです。
統合パッケージは、錬金術に必要なすべてのツールを 1 つのソフトウェアに統合するものです
錬金術は次のステップに分かれています。
1. 統合パッケージをダウンロードする
2. 準備
3. トレーニングを開始する
4.ローラをテストする
5.ローラを最適化する
4.錬金前の準備（統合パッケージのダウンロード）
Lora を改良する前に、コンピューターの構成を確認する必要があります。
1. コンピュータの構成には N カードと 6G 以上のメモリが必要です
2. カードと Mac システム、またはコンピューター構成が不十分な小規模パートナーには、クラウド プラットフォームの使用をお勧めします。
ここで使用するのは、ステーション B のアップマスターである Juni Jiang の統合パッケージです。
クォークネットワークディスクを使って「StableDiffusion錬金術情報」を共有しました
ネットワークディスクリンク: https://pan.quark.cn/s/3c8cc96f3221
ダウンロード後はCドライブではなく、DドライブかEドライブに解凍してください！！
また、Qiuye の統合パッケージで Lora を作成してみましたが、両者を比較した結果、Junijiang の統合パッケージの方が Xiaobai に適していると思います。
解凍後のフォルダーを開き、「cfurnace_ui」フォルダー内に「Cyberdan Furnace」アプリケーションを見つけます。
デスクトップにショートカットを作成できるので、毎回ファイルを開く必要がなくなります
このページが表示されたらインストールして、「錬金炉開始」をクリックしてローラの精製を始めましょう！
5. 適切な大型モデルを選択します
絵を描くのと同じように、ローラを洗練する前に、まず大きなモデルを選択してローラの絵画スタイルを決定する必要があります
ここで訓練されたかわいいペット、私は「cheeseDaddys_35」のラージモデルを選びました
実物モデル＝「chilloutmix」の大型モデルを選択
2次元要素＝「“何でも”の大きなモデルを選択」
Stable Diffusion にモデルがない場合は、最初にモデルをダウンロードする必要があります。
これら 2 つの大きなモデルは、全員のネットワーク ディスクに配置されています。
「2.大規模モデルチェックポイント」をquarkネットワークディスクと共有しました
リンク: https://pan.quark.cn/s/9767ac274f83
さらに下では、トレーニングしたいローラのタイプを選択できます
選択後、デフォルトのパラメータを選択するのに役立ちます
本物のローラを訓練するには「キャラクター」を選択してください
二次元をトレーニングする場合は「二次元」を選択します
絵画スタイルを洗練したい場合は、絵画スタイルを選択できます
さらに、グラフィックデザインの図面や建物などを洗練させるカスタマイズも可能です。
ここで商品を選びます
6.高品質な素材の生産
上記の準備とパラメータを設定したら、独自の素材のアップロードを開始してトレーニングを開始できます。
これらのマテリアルは、AI に学習させたいマテリアルです
素材の良さはとても大切です！！それは最終的なローラの品質に直接影響します。
私たちの資料はいくつかの点を満たす必要があります。
1.写真を20~30枚アップロードします
2.素材は高画質であること！！！
3. マルチアングル写真
ここでは、かわいいペットのローラを例として、かわいいペットの写真をアップロードします
「すべて削除」をクリックすると、デフォルトの素材が削除されます。
次に、「素材をアップロード」をクリックして自分の写真をアップロードします
通常の状況では、次のパラメータはデフォルトで問題ありません。
パラメータを調整する必要がある場合は、パラメータの意味を理解しておくことが最善ですが、むやみに調整するとトレーニングが失敗する可能性があります。
高すぎる解像度を選択しないでください。ビデオ メモリがバーストしやすくなります。
さらに、本物のローラをトレーニングする場合は、一番右の「顔強化トレーニング」にチェックを入れることができます
チェック後、顔のみが含まれる写真のグループが切り取られ、AI が顔の詳細をさらに学習できるようになります。
7. 辛抱強く待つ訓練プロセス
このページが表示されるということは、モデルがトレーニングされていることを意味します
この時点では、何もすることがないので、辛抱強く待ってください
次のパラメータが何を意味するかがわかります
「ステップ」はトレーニングのステップ数です
トレーニングの 50 ステップごとに右下隅に画像が表示されます
こうすることで、Lora の様子をリアルタイムで確認できます
この白い髪と赤いスカートは背景に追加されたキーワードです
Lora の一般化をテストできます
一般化は、このローラが髪型、髪の色、服装など、写真に写っているものを自由に変更できるかどうかを確認することです。
損失はモデルの品質を参照するために使用できます。
適切なモデルの損失値は 0.07 ～ 0.09 です。
注：良いかどうかは安定拡散における実際のテストに依存します
トレーニングが完了したら、「モデル」をクリックします。
生成されたモデルを確認できます
デフォルトのパラメータトレーニングによると20個のモデルが出てきますが、最後のモデルが最良であるというわけではありません
16 番目または 17 番目のモデルまでリファインすることができれば十分であり、それ以降のモデルはすでにオーバートレーニングされています
したがって、これらのモデルがどれが最適であるかを知るには、SD でテストする必要があります。
8. Lora の品質をテストする方法
モデルが生成された後、SD に移動して画像を生成できます。
このような大きな画像は SD で生成でき、さまざまな重み付けの下ですべてのモデルの効果を直接確認できます。
どちらのモデルが優れているかを比較し、そのモデルをそのまま使用します
次に、この全体像を生成する方法を見てみましょう
まず新しく生成した10個のモデルをSDのmodelsフォルダにコピーし、Loraフォルダに置きます。
注: CuteDog などの新しいフォルダーを作成することをお勧めします。
次に、シリアル番号コードなしで Lora の名前を変更します。
シリアル番号エンコーディングのない Lora は最後に生成されたモデルです。これはテストの便宜のためだけであり、すべてのモデルの名前を統一します。
モデルを保存した後、SD を開いてテストできます。
まずは大型モデルを選ぶ
lora のトレーニングに使用する大規模モデルを選択してください
次に、ポジティブなキーワードとネガティブなキーワードを入力します。
ポジティブなキーワードには、最高品質、ハイビジョン画質、傑作などの品質の高い単語を入力できます。
除外キーワードは、以前に使用したものを直接コピーすることができます
次のステップは、作成したばかりの Lora を選択することです
どれでもお選びいただけます
ここで重要な点があります。000017 を NUM に、1 を STRENGTH に置き換えます。
<lora:かわいい犬_20230708214731-000017:1>
例えば：
<lora:かわいい犬_20230708214731-NUM:STRENGTH>
反復ステップの数とサンプリング方法は、自分の習慣に応じて変更できます。
次に、一番下までスクロールして「スクリプト」を見つけます。
スクリプトで「 X/Y/Z チャート」を選択します
X軸とY軸のタイプに「プロンプトワード検索/置換」を選択します
X軸値入力：NUM、000001、000002、000003、000004、000005、000006、000007、000008、000009、000010
ここのシリアル番号は、10 Lora の番号に対応します。
Y軸値入力：STRENGTH、0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9、1
ここのシリアルナンバーはローラの体重を表しています
すべてのパラメータを設定したら、「生成」をクリックします。
生成された画像は非常に大きな画像であり、さまざまな強度の下でこれらの Lora モデルのパフォーマンスを確認できます。
9. Lora を最適化する方法
実際、錬金術は比較的形而上学的なものです
人によっては自分の満足したローラを一気に磨き上げることができるかもしれない
ただし、人によっては、良い Lora を取得するために数回練習する必要があるかもしれません
この時点で、トレーニング パラメータを調整し、新しいパラメータを調整できます。
その前提は、AI に供給する素材が高品質であることを保証することです。
そうしないと、パラメータをどのように変更しても、結果として得られる Lora は不適格になります。
ここでは、Lora を洗練する際に遭遇する問題を 2 つの状況に分けて説明します。
1. ローラの写真は私に似ていない：AI がうまく学習できなかった
2. ローラは適合しすぎて、出てきた写真さえ崩れてしまう：AI は学習しすぎた
過学習とは、どのようなキーワードを入力しても、出てくる写真はすべて AI に入力した写真であることを意味します
キャラクターの服装、髪型、髪の色などを自由にコントロールする方法はありません。
「パラメータチューニング」をクリックすると、パラメータを自分で設定できます
生成された写真が自分のものに似ていない場合は、Repeat (学習ステップ数) の値を適切に増やすことができます
写真が過剰にフィットしている場合は、Repeat 値を減らします。
デフォルトのパラメータがほぼ最適値であるため、他のパラメータは調整できません
10. リソースのダウンロードの概要
Lora alchemy ネットワーク ディスク リソースの概要: https://pan.quark.cn/s/3c8cc96f3221
StableDiffusion リソース統合インストール パッケージ: https://pan.quark.cn/s/2750beda9269
StableDiffusion キーワード分類クエリ: StableDiffusion キーワード分類クエリ
ControlNet データの概要: https://pan.quark.cn/s/47bc8c79892a
AI データ ネットワーク ディスクの概要 (随時更新): AI ゾーンのネットワーク ディスク リソースの概要
AIGC チュートリアルの入門から習得までの概要: AIGC チュートリアルの入門から習得までの概要
元のリンクは読みやすいです: AI Painting: StableDiffusion Alchemy Lora Raiders - Actual Combat Cute Pet Picture Generation