Min Min は Aofeisi
Qubit から送信されました | パブリック アカウント QbitAI
おい、なんで藤原千花が急に「高温レッドバージョン」になったんだ？
この大きな紫の手、もしかしてサノスは生きているのでしょうか？?
上記の効果は後段でオブジェクトに色を付けるだけだと思っているなら、あなたは本当に AI に騙されています。
これらの奇妙な色は、実際にはビデオ オブジェクトのセグメンテーションを表しています。
しかし、u1s1、この効果はしばらくの間は区別するのが非常に困難です。
かわいい女の子の踊る髪でも。
または、タオルや形が変化する物体が前後にブロックされます。
AI によるターゲットのセグメンテーションは、まるで色が「溶接された」かのように、完璧にフィットしていると言えます。
この手法はオブジェクトを高精度にセグメント化できるだけでなく、10,000 フレームを超えるビデオにも対応できます。
さらに、セグメンテーション効果は常に同じレベルに維持され、ビデオの後半は依然として滑らかで上質です。
さらに驚くべきことに、この方法は GPU に対する負荷がそれほど高くありません。
研究者らによると、実験中、この方法では1.4GBを超える GPU メモリが消費されることはありませんでした。
ご存知のとおり、アテンション メカニズムに基づく現在の同様の方法では、通常の消費者向けグラフィック カードでは 1 分を超えるビデオを処理することさえできません。
これは、イリノイ大学アーバナ シャンペーン校の学者によって最近提案された長いビデオ ターゲット セグメンテーション手法であるXMemです。
現在、ECCV 2022 に承認されており、コードもオープンソース化されています。
このようなシルキーな効果は Reddit で多くのネチズンを魅了し、人気は 800 以上に達しました。
ネチズンは冗談を言っています：
なぜ手を紫に塗るのですか？
サノスがコンピュータービジョンに趣味を持っているかどうかは誰にも分かりません。
人間の記憶の模倣
現在、多くのビデオ オブジェクト セグメンテーション方法がありますが、処理速度が遅い、GPU に対する要件が高い、または精度が不十分です。
本稿で提案する手法は上記 3 つの側面を考慮したものであるといえる。
長いビデオのオブジェクト セグメンテーションを迅速に実行できるだけでなく、フレーム レートが 20FPS に達し、同時に通常の GPU で完了することができます。
この作品の特徴は、人間の記憶パターンにインスピレーションを得ているということです。
1968年、心理学者のアトキンソンとシフリンは、多重記憶モデル（アトキンソン・シフリン記憶モデル）を提案しました。
このモデルによると、人間の記憶は即時記憶、短期記憶、長期記憶の 3 つのモードに分類できます。
上記のモデルを参照して、研究者らはまた、AI フレームワークを 3 つの記憶方法に分割しました。彼らです：
時間内に更新される瞬間的なメモリ
高解像度のワーキングメモリ
濃厚な長期記憶。
このうち瞬間メモリはフレームごとに更新され、画面内の画像情報を記録します。
ワーキングメモリは一時メモリから画像情報を収集し、更新頻度は r フレームごとに 1 回です。
作業記憶が飽和すると、圧縮されて長期記憶に移動します。
長期メモリも飽和しますが、廃止された機能は時間の経過とともに忘れられます。通常、これは数千のフレームが処理されると飽和します。
これにより、時間の経過によってGPUメモリが不足することがなくなります。
通常、ビデオ オブジェクトのセグメンテーションには、最初のフレームの画像とオブジェクト マスクが与えられ、モデルは関連するオブジェクトを追跡して、後続のフレームの対応するマスクを生成します。
具体的には、XMem が 1 つのフレームを処理するプロセスは次のとおりです。
AI フレームワーク全体は、3 つのエンドツーエンドの畳み込みネットワークで構成されています。
クエリエンコーダは、クエリ固有の画像特徴を追跡および抽出するために使用されます。
デコーダは、メモリ読み取りステップの出力を取得してオブジェクト マスクを生成する責任があります。
値エンコーダ(値エンコーダ) は、オブジェクトの画像とマスクを組み合わせて、新しいメモリ特徴値を抽出できます。
最終値エンコーダによって抽出された特徴値はワーキングメモリに追加されます。
実験結果から、この方法は短いビデオと長いビデオの両方で SOTA を達成します。
長いビデオを処理する場合、フレーム数が増加しても XMem のパフォーマンスは低下しませんでした。
研究チーム
著者の一人は中国人のホー・ケイ（レックス）・チェン氏です。
彼は香港科技大学を大学院の学位を取得して卒業し、現在イリノイ大学アーバナ・シャンペーン校の博士課程の学生です。
研究の方向性はコンピュータビジョンです。
彼の論文の多くは、CVPR、NeurIPS、ECCV などのトップカンファレンスに採択されています。
もう一人の著者はアレクサンダー G. シュウィングです。
彼は現在、イリノイ大学アーバナ・シャンペーン校の助教授であり、チューリッヒ工科大学で博士号を取得しています。
彼の研究方向は機械学習とコンピュータビジョンです。
論文アドレス:
https://arxiv.org/abs/2207.07115
GitHub：
https://github.com/hkchengrex/XMem