階層的な特長は、深地図超解像2019 TIP论文の残差の学習を主導阅读
概要
手頃な価格と消費者向け携帯深度カメラの抽象急速な発展は、このようなインテリジェントな車両や3D再構築など、多くのコンピュータビジョンのタスクの奥行き情報の使用を容易にします。しかし、低コストの深度センサ（たとえば、オンラインショップ）によって捕捉された奥行きマップは、通常、その潜在的な用途を制限する低空間分解能、苦しんでいます。本稿では、DepthSRネットと呼ばれる深さマップ超解像（SR）、のための新規の深いネットワークを提案します。提案DepthSRネットは自動的にすることにより、その低解像度から高解像度（HR）深度マップ（LR）バージョンを推論残留学習を駆動階層機能。具体的には、DepthSR-Netが残留U-Netの深いネットワークアーキテクチャ上に構築されています。与えられたLRの深さマップは、我々最初のバイキュービック補間アップサンプリングすることにより、所望のHRを取得し、複数のレベルの受容野を達成するための入力ピラミッドを構築します。次に、我々は、U-ネットの入力ピラミッド、強度画像、及びエンコーダデコーダ構造の階層的な特徴を抽出します。最後に、我々は、補間された深度マップと豊富な階層化機能を使用して対応するHRの1間の残留を学びます。最終的なHRデプスマップは、補間された深度マップに学習された残差を加算することによって達成されます。私たちは、提案ネットワークの各構成要素の有効性を実証するために、アブレーション研究を行います。広範な実験は、提案された方法は、最先端の方法を凌駕することを実証しています。また、他の低レベルの視覚問題で提案されているネットワークの潜在的な使用が議論されています。
I.はじめに
II。関連作業
A.非カラーガイド深度地図SR法
B.カラーガイド深度地図SR法
C.ディープラーニングベースカラーのSR法
前の作品、MSGネット[4]の中で提案されたDepthSRネットに最も関連するものです。
しかし、DepthSR-Netのは以下の点にMSG-Netの異なる：1）の代わりに初期のスペクトル分解を実行するのは、我々はより柔軟かつ実用的な用途に適しているスペクトル分解の前処理を、避けるために、残差マップを学びます; 入力として直接適用LRデプスマップ、出力の大きさに制約を緩和するバイキュービック補間によって所望の溶液に、我々最初高級それから2）が異なります。他の言葉では、提案されたDepthSRネットは、任意のスケーリング係数を処理することができ、一方によるMSG-ネットで利用自動アップサンプリング動作の制約に2N個のスケーリング係数にMSG-ネットのみ一般化。3）MSG-ネットと比較して、我々は、HR奥行きマップを回復するために、入力ピラミッドから抽出された特徴マルチレベルをフルに活用します。4）MSG-Netとの両方DepthSRネット採用ガイダンスとして強度画像が、それらは強度が異なるネットワークアーキテクチャによって特徴抽出します。私たちは、強度画像から抽出した特徴は、デプスマップSRとfurtherd emonstrate当社アブレーション研究では、この結論のパフォーマンスを向上させることができますことを認めます。
しかし、DepthSR-Netはその中MSG-Netの異なる：1）私たちは、スペクトル的に早く分解していないが、実用的な使用のために、より適した、より柔軟性のある残留スペクトル分解マップの前処理を、避けるために学ぶこと、2） LR異なる深さを直接出力の大きさの制限を緩和する所望の溶液への入力として、我々最初のバイキュービック補間リフトを適用マップ。MSG-ネットと比較して、3）;すなわち、MSGネットのみスケールファクタ2Nを扱うことができ、提案された格子の深さは、任意のスケールファクタを処理することができ、そしてによる自動サンプリング動作MSG-ネットに制限が使用されますMSG-ネットとDepthSRネット使用しているが）4ガイドとして強度画像を、彼らは、異なるネットワークアーキテクチャに応じて強度特性を抽出し、我々は、マルチレベルが再開HR深さマップに入力ピラミッドから抽出された特徴を最大限に活用します。私たちは、SRデプスマップのパフォーマンス、およびアブレーション試験中、この結論のさらなる証拠を向上させることができ、画像特徴の強度から抽出認めます。
III。提案さMETHOD
このパートでは、まず簡単に、この論文は、に焦点を当てていることを問題を定式化した後、提案DepthSR-Netのアーキテクチャの詳細を示します。最後に、我々は損失関数、およびトレーニングと実装の詳細を提示します。
A.問題の定式化
オリジナルのマッピングはより多くのアイデンティティマッピングのようなものであるとき、[44]で提案されているという結論に続いて、残留マッピングが最適化することがはるかに容易になります。
ccordingly、我々は、補間された深度マップとバイキュービック補間アップサンプリングの過程で見逃し高周波成分である、対応するHRデプスマップとの間の残差を学びます。
B. DepthSR-Netのアーキテクチャを提案
アーキテクチャとパラメータの設定で[ネットワークの提案の概要を図2に示す。
INPUTピラミッド支店実現し、複数のレベルの受容野は、あなたの階層表現を生成すること•。
•エンコーダ支店がピラミッドで連結し、あなたの階層があなたの階層SETのINPUTからの特徴は、Aエンコーダの機能を生成すること;
•あなたの階層Y-ガイダンス支店というあなたの階層的強度が決勝HRの深地図でに便利な構造を転送する機能を抽出し、
転送]は、エンコーダ、デコーダパスするための機能であること•スキップ接続;
。あなたの階層連結は機能を融合リッチによる残留地図で生成します•デコーダ支店
•入力ピラミッド分岐、マルチレベル承認済みドメイン、階層表現を生成するために、
•エンコーダ分岐、ピラミッドの入力から、階調特性に接続されており、階層エンコーダ特性のセットを生成し、
分類案内分岐、抽出グレードの強度特性、形質転換された有用な構造最終深度マップのためのHR。
デコーダ経路に接続されたトランスポート・エンコーダの特性にスキップ;
•分岐デコーダをマッピングカスケード融合特性によって残りの豊富なレベルを生成します。
入力ピラミッド分岐は以下の利点を有する。（ 1）は、入力された奥行きマップから抽出された階層的な特徴表現を提供するステップと、（2）は、複数のレベルの受容野を達成する;（3）表現の抽象形を提供することにより、オーバーフィッティングのリスクを低減する。
入力ピラミッド分岐は、以下の利点を有する：（1）入力された奥行きマップ表現から抽出された特徴のレベルを提供するステップと、（2）は、マルチレベルのドメインを受信するステップと、（3）過剰適合のリスクを低減するために表現の抽象形態によって提供されます。
C.損失関数
D.ネットワークトレーニングと実装
IV。実験
ミドルデータセット上のA.実験
テスト-TOFデータセット上のB.実験
テスト-Ynoiseデータセット上のC.実験
実データ上のD.実験
E.は、上映時間
F.アブレーション研究
V.アプリケーション
VI。考察と結論
