プロジェクトのホームページ: FaceChain-fact: Human AIGC 用の顔アダプター
github プロジェクト: https://github.com/modelscope/facechain
1 はじめに
AI ポートレート オープンソース プロジェクトのリーダーとして、FaceChain はコミュニティに深く愛されており、豊富で多様なスタイル テンプレートと優れたポートレート忠実度により商用アプリケーションで広く使用されています。最近、FaceChain チームは新しいバージョン、FaceChain FACT をリリースしました。この革新的なバージョンは、従来のキャラクター モデルのトレーニング プロセスを放棄し、ゼロショット ターゲット ポートレートを直接生成できるため、AI ポートレート生成をトレーニングなしのシングルステージ時代に導きます。
フォト アルバムに写真が数枚しかなく、デジタル画像をトレーニングできないためにイライラしたことはありますか? それともキャラ育成に20分くらい待たないといけないので不安ですか？現在、市場に出回っているほとんどのAIポートレートは「トレーニング＋生成」の2段階モデルを採用しており、膨大な画像データのサポートと一定のトレーニング時間の両方が必要となります。このモデルでは、ユーザーの使用コストが増加します。この問題に直面して、FaceChain は解決策を提供します。大量のデータは必要なく、トレーニングを待つ必要もありません。さらにはトレーニングなしでも、写真と 10 秒で瞬時に AI 写真を生成できます。
2.原則
FaceChain FACT (顔アダプター) がトレーニング段階をスキップできる理由は、何百万もの写真データでトレーニングされており、Stable Diffusion に強力な顔再構成機能を提供しているためです。従来の 2 段階のポートレート生成方法とは異なり、FaceChain FACT は安定拡散モデルのアーキテクチャを再構築することで、顔情報を独立した分岐条件として使用し、推論用のテキスト情報と並行してモデルに送信できます。このようにして、FaceChain FACT は顔の再構成タスクをより効率的に処理できるため、退屈なトレーニング段階を回避できます。FACT の全体的なフレームワークを次の図に示します。
顔に関する詳細情報をより包括的に抽出するために、FACT は、大量の顔データで事前トレーニングされた Transformer アーキテクチャに基づく顔特徴抽出機能を使用します。CNN アーキテクチャの機能とは異なり、Transformer アーキテクチャに基づく機能は安定拡散の構造によりよく適応できます。これにより、FACT は顔の詳細な特徴をより正確に保持することができ、高精細な顔再構成を実現します。
Stable Diffusion の元の機能が完全に保持されることを保証するために、FACT は独立したアダプター層として元の Stable Diffusion ブロックに挿入され、元のブロックのパラメーターはトレーニング中に固定され、アダプターのみがトレーニングされます。さらに、顔の特徴とテキストの特徴は互いに独立しており、相互の干渉を避けるために並行してブロックに送信されます。顔信号の重みを調整することで、ユーザーは生成効果を柔軟に調整でき、安定拡散という本来のビンセント グラフ機能を維持しながら、顔の忠実性と一般化のバランスをとることができます。
3. 効果
FACT のサポートにより、FaceChain のポートレート生成エクスペリエンスは質的にさらに飛躍しました。
1. 生成速度の点で、FaceChain-FACT は長く退屈なトレーニング段階を取り除くことに成功し、カスタマイズされたポートレートの生成時間を 100 分の 1 に大幅に短縮しました。現在では、生成プロセス全体にかかる時間はわずか 10 秒程度で、ユーザーに非常にスムーズなエクスペリエンスをもたらします。
2. 生成効果に関しては、FaceChain-FACT により人間の顔の繊細さを改善し、実際のポートレート効果に近づけることに成功しました。非常に詳細な顔情報を保持することにより、結果として得られるポートレートは驚くほど自然なものになります。FaceChain の多数の絶妙なスタイル テンプレートは、生成されたポートレートに芸術的な活力を注入します。
FaceChain-FACTの誕生により、これまでにない高品質なAI写真体験がユーザーに開かれます。FaceChain は生成速度と品質の大幅な向上に加えて、豊富な API インターフェースも提供し、開発者が独自のニーズに応じてカスタマイズされた開発を実行できるようにします。独自の AI 写真撮影アプリケーションを作成する場合も、FaceChain の機能を既存のプロジェクトに統合する場合も、簡単に行うことができます。私たちはイノベーションとカスタマイズの重要性を理解しているので、新しいスタイル テンプレートやより興味深い機能を引き続き探索し、追加していきます。オープンソース テクノロジーに興味のある友人が私たちに参加し、一緒に AIGC Vincent グラフィックスの分野を新しい時代に導くことを心から歓迎します。
4.参考
プロジェクトのホームページ: FaceChain-fact: Human AIGC 用の顔アダプター
github プロジェクト: https://github.com/modelscope/facechain