軽量画像超解像度のための残留特徴抽出ネットワーク
要約:単一画像超解像度 (SISR) の最近の進歩により、パフォーマンス向上のための畳み込みニューラル ネットワーク (CNN) の能力が探求されています。CNN ベースの手法は大きな成功を収めていますが、高い計算負荷の問題を解決するために、さまざまな高速で軽量の CNN モデルが提案されています。情報蒸留ネットワークは現在最も先進的な手法の 1 つであり、チャネル分割操作を採用して抽出特徴を抽出します。この論文では、チャネル分割操作と機能的に同等でありながら、より軽量で柔軟な特徴抽出接続 (FDC) を提案します。FDC のおかげで、情報多蒸留ネットワーク (IMDN) を再考し、残差特徴蒸留ネットワーク (RFDN) と呼ばれる軽量で正確な SISR モデルを提案できます。RFDN は複数の FDC を使用して、より識別的な特徴表現を学習します。また、ネットワークが十分に軽量でありながら残差学習から最大限の利益を得ることができるように、RFDNの主要な構成要素として浅い残差ブロック (SRB) を提案します。
はじめに:この記事では、ビデオ ストリーミングなどの時間に敏感なアプリケーションで必要とされる軽量の画像 SR に焦点を当てます。一般的に使用される SR モデル: SRCNN、EDSR を紹介し、次に軽量 SR モデル: IDN および IMDN を紹介します (この記事は IMDN に基づいて改良されています)。IMDN は PSNR と推論時間の両方で優れたパフォーマンスを示しますが、IMDN のパラメータ数はほとんどの軽量 SR モデルのパラメータ数を超えています。ネットワークの主要な設計は情報蒸留メカニズム (IDM) であり、これがネットワーク設計に柔軟性の低下をもたらします。アイデンティティとのつながりをマージするのは困難です。
IMDN をベースライン モデルとして選択したのは、IMDN が再構築の品質と推論速度の間で適切なトレードオフを実現しており、モバイル デバイスに非常に適しているためです。ただし、IMDN は十分に軽量ではないため、SR のパフォーマンスはさらに向上する可能性があります。特徴抽出接続 (FDC) を使用することにより、RFDN はより軽量になります。さらに、SR パフォーマンスをさらに向上させるために、RFDN の構成要素として浅い残差ブロック (SRB) を提案します。SRB は、畳み込み層、アイデンティティ接続、および最後のアクティベーション ユニットで構成されます。通常の畳み込みと比較して、追加のパラメーターを導入することなく残差学習の恩恵を受けることができます。
この記事の寄稿者は次のとおりです。
- 軽量の残留特徴抽出ネットワーク (RFDN) が、高速かつ正確な SR のために提案されており、競合他社よりも少ないパラメーターを使用しながら最先端の SR パフォーマンスを実現します。
- 情報蒸留メカニズム (IDM) のより包括的な分析と IMDN ネットワークの再考。これらの新しい理解に基づいて、IDM よりも軽量で柔軟性の高い特徴抽出ネットワーク (FDC) を提案します。
- 我々は、恒等接続と畳み込みブロックを組み合わせて、追加のパラメータを導入することなく SR パフォーマンスをさらに向上させる浅い残差ブロック (SRB) を提案します。
