まずは効果を見てみましょう

上記の LoRA のスタイルは、屋外ガーデンウェディングドレス、冬の雪景色の漢服、炎の女神、妖精のスタイルです。

環境整備

Mota プラットフォームModelScope Mota コミュニティで PAI-DSW-GPU 環境を選択します

入力後、ターミナル環境を開き、まずビデオメモリが約20G（nvidia-smi）必要であることを確認してから、コアファイルをダウンロードします。

GIT_LFS_SKIP_SMUDGE=1 git clone https://github.com/modelscope/facechain.git

以下にトピックを入力してください

1.固定キャラクターLoRAトレーニング:

1.キャラクターを訓練するためのフォルダーimgsを作成し、それをフェイスチェーンフォルダーに置くように注意し、修正する必要がある顔写真をこのフォルダーに置きます

2.キャラクターLoRAトレーニング

次に、ターミナルで次のコードを実行してトレーニングを開始します。

PYTHONPATH=. CUDA_VISIBLE_DEVICES="0" sh train_lora.sh "ly261666/cv_portrait_model" "v2.0" "film/film" "./imgs" "./processed" "./output"

2. LoRA の代替スタイル:

1. スタイル LoRA ファイルをアップロードし、パラメータを変更します

スタイルソース：屋外写真｜LiblibAI、主に屋外の花のスタイルを移行し、結婚式に名前を変更しました

2. constants.py ファイルを変更します。

主に、新しくアップロードしたスタイルファイルにファイル名を変更し、プロンプトにウェディングドレス関連のコンテンツを追加します。

styles = [
    {'name': '默认风格(default style)'},
    {'name': '凤冠霞帔(Chinese traditional gorgeous suit)',
     'model_id': 'ly261666/civitai_xiapei_lora',
     'revision': 'v1.0.0',
     'bin_file': 'xiapei.safetensors',
     'multiplier_style': 0.35,
     'cloth_name': '汉服风(hanfu)',
     'add_prompt_style': 'red, hanfu, tiara, crown, '},
    {'name': '婚纱(wedding)',
     'model_id': 'ly261666/civitai_xiapei_lora',
     'revision': 'v1.0.0',
     'bin_file': 'wedding.safetensors',
     'multiplier_style': 0.35,
     'cloth_name': '婚纱(wedding)',
     'add_prompt_style': 'bride wearing a white wedding dress,simple and elegant style, <lora:outdoor photo_20230819231754:0.6> --ar 3:4'},
]

3. run_inference.py の主要なパラメータを変更します。

スタイルフォルダーのパスを変更し、use_style を true に変更し、シーケンス番号を 2 に拡張します。

use_main_model = True
use_face_swap = True
use_post_process = True # 可改为False则不控制数量
use_stylization = False
processed_dir = './processed'
num_generate = 5
base_model = 'ly261666/cv_portrait_model'
revision = 'v2.0'
multiplier_style = 0.25
base_model_sub_dir = 'film/film'
train_output_dir = './output'
output_dir = './generated'
use_style = True

if not use_style:
    style_model_path = None
    pos_prompt = generate_pos_prompt(styles[0]['name'], cloth_prompt[0]['prompt'])
else:
    model_dir =  '/mnt/workspace/wedding'
    style_model_path = os.path.join(model_dir, styles[2]['bin_file'])
    pos_prompt = generate_pos_prompt(styles[2]['name'], styles[2]['add_prompt_style'])  # style has its own prompt

gen_portrait = GenPortrait(pos_prompt, neg_prompt, style_model_path, multiplier_style, use_main_model,
                           use_face_swap, use_post_process,
                           use_stylization)

outputs = gen_portrait(processed_dir, num_generate, base_model,
                       train_output_dir, base_model_sub_dir, revision)

os.makedirs(output_dir, exist_ok=True)

for i, out_tmp in enumerate(outputs):
    cv2.imwrite(os.path.join(output_dir, f'{i}.png'), out_tmp)

3. グラフの推測:

python run_inference.py

固定顔 + 再配置された屋外花柄 + プロンプト制御のウェディングドレス = 結婚式の屋外写真

付録

1. プロジェクトアドレス: GitHub - modelscope/facechain: FaceChain は、デジタルツインを生成するための深層学習ツールチェーンです(現在、GitHub には 4,000 個以上のスターが付いています!)

2.グラフィックとビデオによる原理説明

3 枚の写真で特別な画像を作成しましょう! Kawa FaceChain が個人写真のオープンソースプロジェクト、Renren AIGC を解読します!

3枚の写真でAIパーソナルポートレートを作成！1 週間で 3,000 個のスター/FaceChain オープンソースプロジェクトをワンクリックでデプロイ_哔哩哔哩_bilibili

3. 前回の週次レポート

Kawa FaceChain オープンソースプロジェクトの毎週のイテレーション 2023-08-19

4. グローバル開発者の採用

クールなカエルの FaceChain プロジェクトがオープンソース化されました。私たちはオープンソースコミュニティの力でオープンソースプロジェクトを磨き続け、より高度なゲームプレイ (キャラクターの絵文字、キャラクターのコミックストーリー、仮想試着室など) をアンロックする予定です。、より深いアルゴリズム革新を実行し、対応するトップカンファレンスの論文を発表しました。このオープンソースプロジェクトに興味があり、このオープンソースプロジェクトの将来にビジョンと信念をお持ちであれば、ぜひサインアップしてください。

これが Yuque のコンテンツカードです。リンクをクリックして表示します:ログイン · Yuque

【FaceChain風DIYチュートリアル】無限シーン風LoRAと固定キャラLoRAの融合(4Kstar!)

まずは効果を見てみましょう

環境整備

1.固定キャラクターLoRAトレーニング:

2. LoRA の代替スタイル:

3. グラフの推測:

付録

おすすめ