2018年に発表されCVPR。
概要
その畳み込みニューラルネットワーク（CNN）は、最近のシングルの画像超解像（SR）のための高品質の再構築を実証しているにもかかわらず、自然でリアルな質感を回復することは困難な問題が残っています。本稿では、テクスチャ回復することが可能であることを示した意味クラスに忠実に。特に、我々は唯一に条件付け単一のネットワークでは、いくつかの中間層の機能を調節するのに必要なセマンティックセグメンテーション確率マップ。これは新規を通して可能になる変換空間特徴（SFT）層それは、空間単位機能変調のアフィン変換パラメータを生成します。SFT層は、同一の損失関数を使用して、SRネットワークと一緒にエンドツーエンドをトレーニングすることができます。テスト中に、それが任意のサイズの入力画像を受け付けるとを条件だけ単一往路と高解像度画像を生成するカテゴリ事前確率。我々の最終結果は、SFTを備えたSRネットワークは、最先端のSRGAN [27]とEnhanceNet [38]と比較して、より現実的かつ視覚的に満足のテクスチャを生成することができることを示しています。
結論
私たちは、SRにもっともらしい解空間を制約するための従来のカテゴリとしてセマンティックセグメンテーションマップの使用を検討しています。新規空間特徴変換（SFT）層を効率的CNNベースSRネットワークにカテゴリ条件を組み込むことが提案されています。SFT層のおかげで、私たちのSFT-GANはただ一つの往路で超解像で複数の意味論的な地域のための明確な、豊かなテクスチャを生成することができます。広範囲の比較およびユーザの研究では[38、27]前GANベースの方法を上回る、現実的かつ視覚的に満足テクスチャを生成する際にSFT-GANの能力を実証します。私たちの仕事は、現在、屋外シーンのSRに焦点を当てています。
外のカテゴリ画像に堅牢にもかかわらず、それは、特に屋内のシーンのために、例えば、家具、家電やシルクの細かいカテゴリの事前確率を考慮していません。このような場合には、順方向LR画像からセグメント化タスクのために挑戦的な要件を置きます。今後の課題は、これらの欠点に対処することを目指しています。さらに、セグメンテーション及びSRは、互いに利益と共同性能を向上させることができます。
点数
この論文の焦点は、より良いSRで自然な風合いの情報を復元することです。
具体的には、CNNの先験的カテゴリ（カテゴリ事前確率）を提供するために、入力セマンティック確率マップ（セマンティックセグメンテーション確率マップ）を分割することによってカテゴリと、テクスチャ-1に対応するように。
変換層（空間的な機能層を変換）と呼ばれる空間的な機能を達成するために、ネットワーク層の機能を有します。これは、空間的な特性パラメータアフィン変換を生成し、SRネットワークを訓練することがあります。
画像の未知のタイプのためのSFT-GANがさらに強固であるが、未知のカテゴリは確かに問題です。
ハイライト
これは、超解像作業セマンティックセグメンテーション情報、論理的思考、実験結果イェジンハオの手段とみなされています。図1は、説明を与えます。
これは、それによって粒子テクスチャ（粒度）を向上させる、このような深さマップ（深さマップ）として、他の演繹的に一般化することができます。
同様のBN、機能の正則は、それによってカテゴリにアプリオリに入れました。
リミット
図LR画像をバイキュービック補間後のセマンティック分割され、訓練されたネットワークセグメンテーションを入力し[31]を得、及び超解像独立したネットワーク。
カテゴリ先験的にアフィン変換特性を介して。このアプローチは効果がありますが、良い方法があるかもしれません。
背景ストーリー
上記のように、先験的なカテゴリが存在しない場合は、当社のソリューション空間が困難な制約です。特に、植物やレンガ図のように2つの類似したシーンのために。
作業履歴は、一部の人々は、異なるカテゴリーごとのトレーニングモデルを専門。しかし、ここで、著者は、CNNの入力としてセマンティックマップを分割したいです。キーを入力する方法です。単に分割された入力は、中間層のセグメンテーションマップを表示したり、入力した場合、効果が良好ではありません。
空域の機能変換
入力セマンティックセグメンテーショングラフの妥当性を解決するために、我々は、空間的な特徴は、（SFT）層を変換描かれています。
実際には、SFTのアイデアはBNで始まりました。BNは、アフィン変換の特徴です。正則化条件（条件付きの正規化、CN）をアフィン変換BNの代わりに、特定の条件下で得られた学習関数の使用です。だから、SFTはそれを行う方法ですか？
具体的には、先験的に基づいSFT出力調整パラメータ（パラメータ変調ペア）\（（\ガンマ、\ベータ）\） 。この特徴は、中間層のパラメータを調整する（F. \）\：アフィン変換| \（\ガンマ、\ベータ）= \ガンマODOT + F. \ベータ\ \ SFT（F） 、（\ \ ODOT \） （逓倍少し）アダマール積です。言い換えれば：SFTでは、もともと先験的カテゴリに、パラメータ情報を調整するために変換されます。
そのようなネットワークが実現されます。
私たちの最初の懸念のSFT構造。
図に示すように、分割確率プロットは、直接ネットワークに入るされていませんが、浅い学習CNNを通過し、我々は条件のネットワークを呼び出します。
ネットワーク全体の中間層の各々の間で共有されたネットワーク（条件）の出力。示されるように内側に、それぞれ、2つの条件層CNN後、パラメータを得ることができます。その後、アフィン変換が完了行います。
4.3節は、直接情報分割図モザイク効果が不良であることが判明しました。
超解像ネットワーク
私たちは、最初のネットワーク部門を見てください。
アップサンプリングした後、セマンティックセグメンテーション確率の図を得るために、ネットワーク[31]セグメンテーションに供LR画像は、バイキュービック補間を通過します。ネットワークは、訓練の独立しており、我々は今、独立して作業しています。
それも4のダウンサンプリング倍率後、効果が良いセグメンテーションであることが判明した（図4）。カテゴリが不明な場合は、ターゲットは、バックグラウンド（背景）に分類されます。
全体的な構造はGANで、3.2節を参照してください。
ちょっと実験。