論文リンク: https://readpaper.com/pdf-annotate/note?pdfId=4731757617890738177¬eId=1715361536274443520
ソースコードリンク: https://github.com/Johanan528/Cones
記事ディレクトリ
概要
この論文ではどのような問題が取り上げられていますか?
さまざまな人物、物体、背景を表す概念ニューロンのクラスターを複数連結することで、関連するすべての概念を 1 つの画像内に柔軟に生成できます（指定された複数の被写体を 1 つのシーンに統合）
新しい問題ですか？もしそうなら、なぜそれが重要なのでしょうか？そうでない場合、なぜそれが依然として重要なのでしょうか?
いいえ、これは 4 つの異なる多様な被写体を 1 つの画像内に生成することに成功した最初の方法です。(主題主導の生成方法)
解決の鍵は何でしょうか？
私たちは、事前学習済みのテキストから画像への拡散モデルの注意層のパラメーターであるニューロンの小さなクラスターを見つけて、それらのニューロンの値を変更すると、テキスト入力プロンプト。
この論文では、Cones1 と呼ばれる概念ニューロンを分析および識別するための新しい勾配ベースの方法を提案します。私たちはそれらを、事前の情報を保持しながら、その絶対値によって特定の主題をより適切に構築できるスケールダウンするパラメーターとして動機付けします。
結果は何ですか?
多様なシナリオに関する広範な定性的および定量的研究により、拡散モデルの解釈と操作における私たちの方法の優位性が示されています。
方法
3.1. 特定の被験者の概念ニューロン
概念移植損失
ここで：
アルゴリズム：
3.2. 概念ニューロンの解釈可能性
概念ニューロンをシャットダウンすると、テキスト識別子に対応するアテンション マップに指定された主題の輪郭が即座に描画され、その後、最終出力で主題が生成されます。これは、概念ニューロンとネットワーク表現内の特定の主題との間の強いつながりを示しています。
3.3. 複数のコンセプトを協力して捉える
特急
図 7. 複数の主題の生成能力の比較。最初の行: 他の方法と比較して、私たちの方法はプロンプトで「セーター」をより適切に生成できます。2 行目: 私たちの方法は「遊び」の意味をよりよく反映していますが、Dreambooth では木のポットの詳細が失われています。3 行目: 生成された画像は、対象の被写体との視覚的類似性が高く、「座っている」および「着ている」との意味の整合性が優れています。Dreambooth は「椅子」の生成に失敗します。4 行目: Cones (Ours) は、すべての被験者に対して高い視覚的類似性を維持します。
図 8. チューニング不要のサブジェクト生成方法の比較。Cones の場合、複数の被験者の概念ニューロンを直接連結します。Custom Diffusion では、その「制約最適化」手法を使用して複数の被写体を合成します。
表 1. 定量的比較。Cones は、単一の被写体の場合の画像の位置合わせを除いて最高のパフォーマンスを発揮します。これは、Custom Diffusion (Kumari et al., 2022) で指摘されているように、画像の位置合わせメトリックがオーバーフィットしやすいことが原因である可能性があります。DreamBooth と Textual Inversion は学習に多くのパラメーターを使用しますが、Cones では少数のパラメーターを無効にするだけです。
表 2. 概念ニューロンのストレージ コストとスパース性。対象となる被験者の数が増えると、より多くの概念ニューロンのインデックスを保存する必要があります。カスタムディフュージョンと比較してストレージスペースを90%以上節約します。
結論
この論文では、拡散モデルのパラメータ空間における概念ニューロンを明らかにします。特定の主題について、この主題の生成を支配する概念ニューロンの小さなクラスターが存在することがわかりました。それらを閉じると、テキスト プロンプトに基づいて、さまざまなコンテキストで指定された主題の表現が生成されます。異なる件名に対してこれらを連結すると、結果にすべての件名を生成できます。さらに微調整することで、複数被写体の生成機能を強化できます。これは、1 つの画像内に最大 4 つの異なる被写体を生成できる初めての機能です。最先端の競合他社との比較により、視覚的な品質、セマンティックな調整、複数の主題の生成機能、およびストレージ消費の点でコンセプト ニューロンを使用することが優れていることがわかります。