ビデオスーパーレゾリューション：RBPN（ビデオスーパーレゾリューションのためのリカレントバックプロジェクションネットワーク）

論文：ビデオスーパーセグメンテーションのためのループバックプロジェクションネットワーク
記事検索ソース：2019 CVPR

要約と紹介

ビデオの超解像度の問題を目指して、新しいアーキテクチャを提案します。サイクリックエンコーダ/デコーダモジュールは、連続ビデオフレームの空間的および時間的コンテキストを統合するために使用されます。このモジュールは、マルチフレーム情報をターゲットフレームのシングルフレームスーパーディビジョンネットワークとマージします。スタッキングまたはワーピングによってフレームを組み合わせる以前のほとんどの作業とは異なり、私たちのモデルは、各コンテキストフレームを個別の情報ソースとして扱うサイクリックバックプロジェクションネットワーク（RBPN）です。
これらのソースは、マルチグラフスーパーディビジョンの逆投影の概念に触発された反復フレームワークに結合されています。フレームを明示的に整列させる代わりに、ターゲットに対する推定フレーム間モーションが明示的に表現されます。新しいビデオスーパースコアリングベンチマークを提案します。これにより、幅広い評価を実行し、さまざまなモーションモードのビデオを検討できます。実験結果は、RBPNが複数のデータセットで既存の方法よりも優れていることを示しています。

周期的逆投影ネットワーク

ネットワーク構造

RBPNの作業は、初期の特徴抽出、複数の投影、および再構築の3つの段階に分けることができます。
初期特徴抽出：入力${私}_{トン}$投影モジュールに入る前に、それをLRフィーチャーL tL_tにマップします。$L_{トン}$。隣接するフレームごとに${私}_{T-K}$、そしてそれを事前に計算されたI tI_tと比較します${私}_{トン}$和It ${私}_{T-K}$インテンシブモーションフローグラフ$F_{T-K}$和${私}_{トン}$一緒に接続されています。次に、この8チャネルの画像を隣接するフィーチャテンソルM t − k M_ {tk}にマップします$M_{T-K}$。
複数のプロジェクション：ここでは、SISRとMISRを統合することにより、ターゲットフレームで欠落している詳細を抽出し、洗練されたHR機能テンサーを生成します。このステージはIt − k − 1 I_ {tk-1}を受け取り${私}_{T-K-1}$そして$M_{T-K}$、およびHR機能テンソルH t − k H_ {tk}を出力します$H_{T-K}$。
再構築：すべての機能マップが直列に再構築モジュールに送られます。${SR}_{トン}=f_{REC}（[H_{T-1}、H_{T-2}、。。。、H_{T-N}]）$、ここで$f_{REC}$それは単一の畳み込み層です。

マルチプロジェクション

RBPNのマルチプロジェクションステージは、エンコーダ/デコーダモジュールの循環チェーンを使用します。時間枠間で共有される投影モジュールには、次の2つの入力があります$L_{T-N-1}\in R^{M^{W}x{N}^{l}x{C}^l}$和Mt$M_{T-N}\in R^{M^{W}x{N}^{l}x{C}^m}$、次に2つの出力を生成します：$L_{T-N}$和Ht $H_{T-N}\in R^{M^{h}x{N}^{時間}X{100}^h}$ここで、$c^l、c^m、c^h$は、対応するグラフのチャネル数です。
エンコーダーは、投影から特定の隣接フレームへの推定HR機能の非表示状態を生成します。
デコーダーは、対応する非表示状態をエンコーダーモジュールの次の入力として復号化します。

実験

ベースライン：

アブレーション実験：







定量的評価：

学習目的でのみ、転載しないでください。