「生成 AI 業界ソリューション ガイド」シリーズ ブログをお読みいただきありがとうございます。シリーズ全体は 4 つの記事に分かれています。生成 AI ソリューション ガイドと、電子商取引、ゲーム、および汎エンターテインメント業界における典型的なシナリオを体系的に紹介します。 . 応用練習。ディレクトリは次のとおりです。
第3回「ゲーム業界における生成AIの適用シナリオ実践 ～ゲームアートコンテンツ制作の加速～」（本記事）
第4回記事「汎エンターテイメント業界における生成AIの応用シナリオ – 様式化されたビデオコンテンツの作成の促進」（近日公開予定）
背景紹介
人類の誕生以来、絵を描くことは学習、コミュニケーション、創造のための重要な手段であり続けています。言語や文字が出現する前から、人間はグラフィックを使用して世界の認識を記録し、お互いにアイデアを交換してきました。ことわざにあるように、百聞は一見に如かず、写真が持つことができる情報量は膨大です。古代エジプトの壁画から、今日デジタルで制作、保存、送信される写真や絵などに至るまで、絵画の内容は情報の伝達手段であり、その制作方法は常に変化しています。
DALL-E から始まって、人間は新しい絵画方法、生成 AI 絵画 (生成 AI とも呼ばれる) を作成しました。AI 絵画は人々に無限の想像力をもたらしてきましたが、人類の技術開発の曲線と同じように、最初の数年間、この新しい AI テクノロジーは大規模な工業生産シナリオで実際に使用することができませんでした。
起業家のデザインとアートシーンに大きく依存している業界として、ゲーム業界は、ゲーム開発の効率を向上させ、コストを削減するために、ゲーム制作パイプラインで実際に役立つ AI ペイント ツールを見つけるのに苦労してきました。
この状況は、昨年の Stable Diffusion と MidJourney のリリース以来、劇的に変化しました。ここ数か月で Stable Diffusion Web UI を中心に構築されたオープンソース コミュニティが急速に発展したことにより、ゲーム クリエーターは AI テクノロジーをアート制作パイプラインに統合する大きな可能性を認識しました。今では、規模の大小を問わずゲーム会社が生成 AI トラックに多大なエネルギーを投資し、以前は想像もできなかった進歩を遂げていることがわかります。
ゲーム業界の応用シナリオ
前述したように、ゲーム業界はコンセプト デザインとアート リソースに大きく依存しており、クリエイティブ コンテンツとアート コンテンツの品質に対する要求が最も高い業界の 1 つでもあります。ゲームアートデザイナーにとって、どんなに精巧な二次元絵でも、それをそのままゲーム内の素材制作に活用することは実は難しいのです。なぜなら、デザインスタイルに加えて、シーンデザインやキャラクターデザインでは、キャラクターのポーズが自然かどうか、細部が明確かどうか、照明が適切かどうかなど、多くの詳細を考慮する必要があるためです。配慮のこと。AI は人間の想像を超えるコンテンツを提供できるかもしれませんが、カード描画の作成だけではアート パイプラインの生産効率を大幅に向上させることはできません。AI が期待に応える画像をより正確に生成できるツールを使用する必要があります。
この段階では、AI ペイントの生成結果を次の方法で制御できます。
1 つ目は Vincent ダイアグラムで、テキスト プロンプトの単語を使用して画面生成のコンテンツを制御します。プロンプト ワードでは、シーン、オブジェクト、スタイル、パースペクティブなどを定義できますが、最も広範な制御方法として、プロンプト ワードは基本モデルに大きく依存するため制限されます。ベースモデルのパフォーマンスは大きく異なる場合があります。
2 つ目は、AI にパーツを再描画させるためのプロンプト ワードと組み合わせた参照画像を使用して画像を生成することです。本質的にはVincent線図と大差なく、制御性はまだ保証されていません。一般的に使用される安定拡散微調整モデルには、Text Inversion (Embedding)、Hypernetworks、DreamBooth、および LoRA が含まれ、その中で最も一般的なのは LoRA です。モデルの微調整のためのトレーニング方法として、LoRA は基礎となるモデルのニューラル ネットワークに小さな変更を加えることができますが、驚くべき結果を生み出すことができます。ゲーム業界では、LoRA がキャラクター デザインのスタイルと視点を決定するために広く使用されていることがわかりました。
最後に、ControlNet をゲーム業界のシーンと組み合わせて紹介したいと思います。ControlNet は、今年 2 月にオープンソース コミュニティで誕生して以来、多くの注目を集めてきました。これにより、Stable Diffusion がゲームのブレインストーミング段階の補助ツールからアート デザイナーのワークフローに正式に参入できるようになったからです。AI絵画における重要なマイルストーンと言えるでしょう。
まず、ControlNet の原理を理解しましょう。ControlNet は、既存のモデルの外側にニューラル ネットワーク構造を重ね合わせ、トレーニング可能なエンコーダーのコピーを使用し、コピー内でゼロ畳み込みを使用して元のネットワークに接続し、エッジ マッピングなどの基本モデルにさらに多くの条件を入力します。セグメンテーション マッピングとキー ポイントおよびその他の画像は、出力コンテンツの正確な制御を実現するためのガイドとして使用されます。
回路図のリファレンスは、Adding Conditional Control to Text-to-Image Diffusion Models からのものです: https://arxiv.org/abs/2302.05543
プラグインを使用してプリプロセッサを選択し、ControlNet モデルをロードできるようになりました。プリプロセッサ プリプロセッサ (アノテーターとも呼ばれる) を使用すると、既存の画像を使用して必要なガイド マップ タイプを生成できます。図に示すように、3 つのビューを持つキャラクタを使用し、次に openpose_full プリプロセッサを選択してキャラクタの全身マルチビュー オープンポーズ ガイド マップを取得します。その後、このガイド マップと ControlNet の OpenPose モデルを使用して、より制御されたオーサリングを行うことができます。
これまでに、公式 ControlNet モデルは 1.0 の 8 個から 1.1 の 14 個 (実稼働対応モデル 11 個と実験モデル 3 個) に増加し、プリプロセッサーの数も 30 以上になりました。さまざまな制御方法が含まれており、大まかに次のように分類できます。
ここでは、ControlNet のいくつかのモデルを組み合わせて、ゲーム業界の細分化されたシナリオで制御可能な AI 画像生成を実現する方法を検討します。
コンセプトクリエイティブとシーンデザイン
ゲーム制作において、コンセプト アーティストとレベル アーティストは非常に重要な役割を果たし、制作の初期段階では、ゲーム企画のニーズに合わせてマップや地形を編集し、光効果を作成し、マップの基本スタイルを構築する必要があります。 . など、より良いゲームビジュアルを提供します。以下の例では、ControlNet のセグメント モデルとガイド グラフを使用して、ゲーム シーンの概念設計を作成します。Blender などの 3D 編集ソフトウェアでは、単純な白いモデル マップを作成し、ADE20K 色分類標準に従って色を付けて構成を識別したり、既存のシーン グラフを参照として使用して、セグメント前処理を選択してセグメントを生成したりできます。ガイドマップ。ここでは、あらかじめ用意されたセグメント ガイド マップを使用して概念的なシーンを生成します。
私たちが使用するプロンプトの言葉は次のとおりです。
肯定的なプロンプト:
(masterpiece:1.2), (best quality:1.2), (highres), ultra detailed, photorealistic, a concept painting for gaming, scenery, view from distance, no humans, cloud, waterfall, outdoors, flower, sky, mountain, water, day, pink flower, architecture, petals, castle, cloudy sky, blue sky, tree, landscape, building, (rainbow:0.9)左にスワイプするとさらに表示されます
逆のキューワード:
dim, dark, abstract, unclear，repetitive, ugly, monotonous，paintings, sketches, (worst quality:1), (low quality1), (normal quality:1), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, glan,nsfw, lowres, bad anatomy, text, error, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, {
{bad_construction}}, {bad_structure}, bad_wail, {bad_windows}, {blurry}, cloned_window, cropped, {deformed}, {disfigured}, error, {extra_windows}, {extra_chimney}, {extra_door}, extra_structure,extra_frame, {fewer_digits}, {fused_structure}, gross_proportions, jpeg_artifacts, {
{long_roof}}, low_quality, {structure_limbs}, missing_windows, {missing_doors}, missing_roofs, mutated_structure, {mutation}, normal_quality, out_of_frame, owres, poorly_drawn_structure, poorly_drawn_house, signature, text, too_many_windows, {ugly} username,uta,watermark,worst_quality左にスワイプするとさらに表示されます
ゲーム シーンの建築環境では、Canny モデルを使用して、メイン オブジェクトの一貫性を確保しながら、さまざまなスタイルの背景を生成することもできます。
まず、ヴィンセン図を使用してモデルを選択し、元のコンセプト イメージを生成します。
肯定的なプロンプト:
(masterpiece:1.4), (best quality), (highres),<br />temple in ruines, forest, stairs, columns, cinematic, detailed, atmospheric, epic, concept art, Matte painting, mist, photo-realistic, concept art, volumetric light, cinematic epic + rule of thirds octane render, corona render, movie concept art, octane render, cinematic, trending on artstation, movie concept art, cinematic composition, ultra-detailed, realistic, hyper-realistic, volumetric lighting左にスワイプするとさらに表示されます
逆のキューワード:
(EasyNegative:1.4), (lowres), (low quality), (normal quality), watermark, car, cars on the street, human左にスワイプするとさらに表示されます
コンセプト デザインに準拠した画像を ControlNet に入力し、Canny プリプロセッサを選択して線画を生成すると、画像の本体を変更せずにプロンプト ワードを変更することで、さまざまなシーンのスタイルを変更できます。
砂漠効果
肯定的なプロンプト:
(masterpiece:1.4), (best quality), (highres), temple in ruines, desert, stairs, columns, cinematic, detailed, atmospheric, epic, concept art, Matte painting, mist, photo-realistic, concept art, volumetric light, cinematic epic + rule of thirds octane render, corona render, movie concept art, octane render, cinematic, trending on artstation, movie concept art, cinematic composition, ultra-detailed, realistic, hyper-realistic,左にスワイプするとさらに表示されます
逆のキューワード:
(EasyNegative:1.4), (lowres), (low quality), (normal quality), watermark, car, cars on the street, human, forest, cloud,左にスワイプするとさらに表示されます
夜の効果
肯定的なプロンプト:
(masterpiece:1.4), (best quality), (highres), temple in ruines，(midnight bliss), (moon:1.2), (star \(sky\)), (dark at night), torch, forest, stairs, columns, cinematic, detailed, atmospheric, epic, concept art, Matte painting, mist, photo-realistic, concept art, volumetric light, cinematic epic + rule of thirds octane render, corona render, movie concept art, octane render, cinematic, trending on artstation, movie concept art, cinematic composition, ultra-detailed, realistic, hyper-realistic,左にスワイプするとさらに表示されます
逆のキューワード:
(EasyNegative:1.4), (lowres), (low quality), (normal quality), watermark, car, cars on the street, human, sunlight,左にスワイプするとさらに表示されます
雪の効果
肯定的なプロンプト:
(masterpiece:1.4), (best quality), (highres), temple in ruines, forest, winter, snow, stairs, columns, cinematic, detailed, atmospheric, epic, concept art, Matte painting, mist, photo-realistic, concept art, volumetric light, cinematic epic + rule of thirds octane render, corona render, movie concept art, octane render, cinematic, trending on artstation, movie concept art, cinematic composition, ultra-detailed, realistic, hyper-realistic左にスワイプするとさらに表示されます
逆のキューワード:
(EasyNegative:1.4), (lowres), (low quality), (normal quality), watermark, car, cars on the street, human, sunlight左にスワイプするとさらに表示されます
ゲームスキンの小道具とアセット
ゲームの制作において、ゲーム内の多数のアイテムのデザインは非常に時間と労力がかかる部分であり、装備、スキン、小道具、ポーションなどのアイテムが何千も存在する場合があります。時間も予算もたっぷり。ここでは、lineart_anime を使用してアニメ キャラクターの線画を抽出し、さまざまなキャラクター スーツを作成してみます。
私たちは今でも最初に自分たちで基本モデルを選び、その言葉を通してオリジナルのコンセプトイメージを生み出します。
肯定的なプロンプト:
(masterpiece),(best quality:1.0), (ultra highres:1.0), (bent over), detailed clothes, blunt bangs, braid, wide-sleeved kimono, hair ornament, white japanese clothes, (red obi:1.4), (purple hair:1.4), very long hair, straight hair, detailed face, cool face, (smooth chin:0.85), closed mouth, looking at viewer, beautiful eyes, detailed eyes, (ulzzang-6500:0.7), skirt, (from below:1.1), photon mapping, physically-based rendering, RAW photo, clear background, (white background:1.4), (photo realistic:1.35), high res, perspective左にスワイプするとさらに表示されます
逆のキューワード:
(sexy:1.4), 3d, sepia, painting, cartoons, sketch, (worst quality:2), (low quality:2), (normal quality:2), lowres, bad anatomy, bad hands, normal quality, ((monochrome)), ((grayscale)), futanari, full-package_futanari, newhalf, nipplepierces, collapsed eyeshadow, multiple eyeblows, pink hair, (nsfw:1.4)左にスワイプするとさらに表示されます
次に、lineart_anime の前処理と lineart_anime のモデルを使用して、キャラクターの特性に関連するプロンプト ワードの部分を調整して、この例でさまざまなスーツを生成できます。
キャラクターデザインの3つの視点
ゲーム原画はキャラクターのデザインに特化したもので、通常は3面図の形でモデラーに引き渡されます。最終的にキャラクターを立体化して細部まで表現することになるので。三面図に含まれる正面図、背面図、側面図により、モデラーは原画家のデザイン意図をすぐに理解することができます。OpenPose エディター プラグインまたはその他の画像編集ツールを使用して、3 ～ 4 つのキャラクター モデリング ガイド マップを描画できます。最終的な画像の長さ、幅、ピクセルは同じ比率を維持してから結合する必要があることに注意してください。 ControlNet Words の OpenPose モデルを介したプロンプトと特定のモデルを使用すると、優れた効果を持つ文字の 3 つのビューを生成できます。
肯定的なプロンプト:
(masterpiece),(best quality:1.0), (ultra highres:1.0), (bent over), full body, detailed clothes, blunt bangs, braid, wide-sleeved kimono, hair ornament, white japanese clothes, (red obi:1.4), (purple hair:1.4), very long hair, straight hair, detailed face, cool face, (smooth chin:0.85), closed mouth, looking at viewer, beautiful eyes, detailed eyes, (ulzzang-6500:0.7), (long skirt:1.4), (from below:1.1), photon mapping, physically-based rendering, RAW photo, clear background, (white background:1.4),(photo realistic:1.35),high res,perspective,(((full body))), multiple views, <lora:charturnerbetaLora_charturnbetalora:0.1>左にスワイプするとさらに表示されます
逆のキューワード:
(sexy:1.4), 3d, sepia, painting, cartoons, sketch, (worst quality:2), (low quality:2), (normal quality:2), lowres, bad anatomy, bad hands, normal quality, ((monochrome)), ((grayscale)), futanari, full-package_futanari, newhalf, collapsed eyeshadow, multiple eyeblows, pink hair, (nsfw:1.4)左にスワイプするとさらに表示されます
アーキテクチャと動作原理
この記事は生成 AI 業界ソリューション ガイドに基づいており、ソリューションの動作原理は次のとおりです。
Generative AI 業界ソリューション ガイド、フロントエンドの Stable Diffusion WebUI はコンテナ サービス Amazon ECS にデプロイされ、バックエンドは処理にサーバーレス サービス Amazon Lambda を使用し、フロントエンドとバックエンドは Amazon API Gateway 呼び出しを通じて通信します。 。モデルのトレーニングとデプロイは、Amazon SageMaker を通じて実行されます。同時に、Amazon S3、Amazon EFS、Amazon DynamoDB をそれぞれモデルデータ、一時ファイル、使用状況データの保存に使用します。詳細については、ブログ シリーズの最初の記事「Generative AI Industry Solution Guide and Deployment Guide」を参照してください。
(https://aws.amazon.com/cn/blogs/china/generative-ai-industry-solutions-guide-and-deployment-practices/)。
迅速な導入プロセス
この業界ソリューション ガイドは、CloudFormation を使用してワンクリックで展開できます。Generative AI Industry Solution Guide を使用する場合は、ブログ シリーズの最初の記事「Generative AI Industry Solution Guide and Deployment Guide」を参照してください。この記事では焦点を当てません。
まとめ
この記事では、Amazon Cloud Technology の Generative AI Industry Solution Guide と ControlNet を使用して、ゲーム業界のいくつかのシナリオで高度に制御可能な画像素材を効率的に生成する方法を簡単に紹介します。Amazon Cloud Technology の生成 AI 業界ソリューションガイドを使用して AI ペイントスキルを練習し、創造的な支援と効率向上のための強力なツールにしていただければ幸いです。
参考文献
生成 AI 業界ソリューション ガイド ワークショップ:
https://catalog.us-east-1.prod.workshops.aws/workshops/bae25a1f-1a1d-4f3e-996e-6402a9ab8faa
安定拡散ウェブイ：
https://github.com/AUTOMATIC1111/stable-diffusion-webui
ハグ顔：
https://ハギングフェイス.co/
https://arxiv.org/abs/2302.05543
https://github.com/lllyasviel/ControlNet
https://github.com/Mikubill/sd-webui-controlnet
https://huggingface.co/blog/train-your-controlnet
この記事の著者
王燕
Amazon クラウド テクノロジー ゲーム業界のソリューション アーキテクト。業界のトレンドとシーンの問題点を理解し、対応する業界ソリューションを提供する責任を負います。クラウド ゲームの制作、運用、バックグラウンド システムの設計と実装に重点を置き、インタラクティブ アプリケーションと大規模分散システムの設計と開発で 15 年以上の経験があり、コンテナ化と分散システム設計で豊富な実務経験を持っています。 。
ワン・ジンファン
Amazon クラウド テクノロジー業界のソリューション アーキテクト。主な分野には金融、小売、生成 AI が含まれます。IBMに勤務し、金融業界の顧客ソリューションを担当。現在、香港におけるユーザーデータプラットフォームと生成型AIソリューションの促進を目的としています。
唐哲
Amazon クラウド テクノロジー業界のソリューション アーキテクト。Amazon ベースのクラウド コンピューティング ソリューションのコンサルティングとアーキテクチャ設計を担当し、Amazon クラウド サービスのナレッジ システムの普及と普及に尽力しています。ソフトウェア開発、セキュリティ保護などの実務経験を持ち、現在は電子商取引やライブブロードキャストの分野に注力している。
ワン・シー
Amazon クラウド テクノロジー ソリューション アーキテクト。Amazon クラウド テクノロジーに基づくクラウド コンピューティング ソリューションのコンサルティングとアーキテクチャ設計を担当します。Amazon Builder 文化をしっかりと受け入れる人。ゲーム開発で 12 年以上の経験があり、いくつかのゲーム プロジェクトの管理と開発に参加しており、ゲーム業界に対する深い理解と見識を持っています。
張暁峰
Amazon クラウド テクノロジー ソリューション アーキテクト マネージャー、ゲーム テクノロジーの専門家は、アーキテクチャと開発の分野で非常に豊富な実務経験を持っています。
聞いたので、下の 4 つのボタンをクリックしてください
バグに遭遇することはありません！
