なぜ我々は、両眼カメラと深さを取得する必要がありますか？
両眼視深度カメラのワークフロー
深度カメラ両眼立体視を詳細に動作します
理想的な双眼カメラ撮像モデル
エピポーラ拘束
画像補正技術
スライディングウィンドウに基づく画像マッチング
エネルギー最適化に基づく画像マッチング
長所と短所の両眼ステレオビジョンカメラの深さ
-------------------------------------------------- -
人間の目と同様両眼視深度カメラに基づいて、およびTOFに基づいて、構造化光深度カメラの原理、それは完全に撮影された2つの画像上に、アクティブソースの外側（RGBカラーまたはグレースケール）が突出しない深さを計算します従って時々受動双眼深度カメラと呼びます。もっとよく知られている製品は、ZED 2KステレオカメラをSTEROLABSを立ち上げているとポイントグレイ会社はマルハナバチを開始しました。
ZED 2Kステレオカメラ
なぜ我々は、両眼カメラと深さを取得する必要がありますか？
ここでは、一部の読者はそれを聞いてきます：なぜ我々は双眼深さにカメラを取得する必要がありますか？私は、唯一の目で観察する片目を閉じたが、また、ああ遠く私からであるどのオブジェクトに近い私に知っています！これは、単眼カメラでも深さを得ることができることではないでしょうか？
答：まず第一に、真に人間の目は、特定の深度情報により得ることができるが、実際に仕事で見落として、この簡単背後にあるいくつかの要因があります。人々自身が（をよく知っている世界れるので、最初は、先験的知識）、したがって、日常の大きさは、オブジェクトが小さいから大規模な複数年のビジョントレーニングへの基本的な事前の判断（）で、はるかに小さい本当に常識近くに応じてどのような画像から推測することができ、私たちは遠く離れて私たちが近くにあるものとしています。第二に、実際に人間の目が揺れている単眼観察対象の人々は、運動に類似している移動単眼カメラの等価物は、複数のフレームを比較することによって、モバイル単眼カメラ（モーション、SFMから構造）構造の原理を復元します違いは本当に奥行き情報を得ることができます。
しかし、実際には、すべての後に、ではない、人間の目のカメラ、それだけで愚かな人々の写真、学習ではないとの考えに基づいて動作します。次の図に示すカメラは、物理的な原理からすることができ単眼と双眼奥行き値を測定することができない理由。私たちは、3つの異なる近くと遠く同じ位置にカメラに投影された赤い線より下に黒のドットを見て、最終的に遠く、その点の近くに、その点からまだあるようので、単眼カメラに分解することはできませんが、カメラの上部にあります突起がので、2台のカメラが最終的に決定することができる観察することによって点で、3つの異なる位置に位置していました。
深度マップを決定するために、両眼カメラ
プロセスを簡略化するため、両眼立体視深度カメラ
続いて、次のように、視覚的な深度カメラ双眼鏡深さ測定方法についての簡単な概要です：
1、双眼カメラキャリブレーションの最初の必要性は、二つのカメラ、ホモグラフィのパラメータ内外得ます。
図2は、原画像上のキャリブレーション結果の補正によれば、2枚の画像は、互いに同一平面と平行で修正しました。
図3に示すように、補正画像ピクセルマッチング二。
図4に示すように、各画素の深さはそれによって深度マップを取得、照合結果に基づいて算出されます。
詳細については、私は以下に詳細を見てみましょう。
両眼ステレオビジョンカメラ深度の詳細
1
理想的な双眼カメラ撮像モデル
まず、理想的な状況分析から開始：一貫している（光軸に平行な）同一平面内に2台の左と右のカメラを想定し、カメラパラメータ（例えば、焦点距離f）。次のように奥行き値を導出原理や数式はそう。トライアングル式は唯一の中学校に関連している類似した知識で、理解することは難しいことではありません。
両眼立体視カメラ奥行き値の算出原理理想的
深さZは、知る必要性を発見した場合、上記の導出、カメラ（深さ）から点Pの空間距離Z = * B / D Fによれば、計算することができます。
図1に示すように、カメラベースラインBの周りにカメラの焦点距離f、。これらのパラメータは、事前情報やカメラキャリブレーションすることにより得ることができます。
2、視差d。あなたは、各画素左カメラ（XL、イル）と対応する右カメラとの間の対応点（XR、年）を知る必要があります。これは、両眼視の問題の核心です。
2
エピポーラ拘束
質問があるので、左の画像の画素のために、どのように右のポイントの位置を決定するには？私たちは、画像全体のマッチングカーペットを検索するために必要とされていませんか？
答えは：なし。非常にラインが制約されているので（怖い名前を聞いて）。エピポーラ線は、画像点における画素との対応を解決するために非常に重要です。
だから、道路上の非常ラインは何ですか？図に示すように。C1、C2は、2台のカメラであり、Pは空間、PおよびC1、C2は、極性面（エピポーラ面）と呼ばれる平面PC1C2三次元空間を形成する二つのカメラの中心点に点です。二つの画像、二つの直線で交差する平面電極と二つの直線は、ソース線（エピポーラ線）と呼ばれています。カメラC1の点Pを撮像するP1、カメラ画像中の点はC2 P2であるが、Pの位置が予め知られていません。
私たちの目標は、次のとおりです。私たちは宇宙の物体とカメラ（奥行き）から欲しいものである点Pの空間的な位置を決定できるように、点P1、P2におけるそれのための適切な外観で対応する点の左に。
いわゆるエピポーラ線（エピポーラ拘束）は、二つの画像内の同じ空間点が撮像される場合をいう、公知であるP1左投影点ので、ある点P2はP1極ラインに対して、対応する右の投影、それは非常にマッチを絞り込むことができます。
エピポーラ制約が定義されている我々は唯一の点P1とP2に対応するエピポーラ線に沿った検索を見つけることができる必要があるので、我々は、視覚的に、極の特定の行に次の図のP2を見ることができます。
エピポーラ拘束概略図
気配りの友人が同じ行にない場合、理想的なカメラC1、C2は、どのように行うには上記プロセスの考察（光軸に2つのカメラ同一平面と平行、同じパラメータ）を見つけるだろうか？
実際、このような状況は、いくつかのシナリオが2台の別個の固定カメラを必要とするので、光学中心C1を確保することが困難である、非常に一般的であり、C2完全に水平、アセンブリは、不完全な光学的中心において同一の基板結果に固定されてもためのレベル。図に示すように。我々だけでなく、2極のカメラを参照してくださいセットは結果を取ることはありませ導出される前に、同一平面上にない、理想的なモデルを平行、行うことになってすることができますか？
非極性理想的で
心配しないで、方法があります。以下のようにのは、それの二つの絵について、この場合の撮影を見てみましょう。右、左の三点交差シンボルは探索領域を対応する3本の右白線の対応するソース線、すなわち、です。検索効率が非常に低い場合我々は、これは3本の直線のレベルではない点ごとを参照してください。
ソース線を対応する右上の3点（十字マーク）を左に3つの白いの直線権があります
3
画像補正技術
どのようにそれを行うには？理想的な状況はOKに変換せずに理想的ではありません！これは、補正後の画像（画像整流）技術です。
画像は、それぞれのホモグラフィ、2枚の画像を用いて補正して得られた（較正によって入手可能）（ホモグラフィ）変換行列、物体面の2枚の画像は（図平面内灰色）で同じバックプレーンに異なる方向に投影されます。モデルは、理想的なケースの前面に使用することができるように光軸が、互いに（図黄色の平面）に平行で、二つのカメラは、レベルのソース線となっています。
画像補正概略図
左側の画素の画像補正後のみ（幸せな）水平方向とすることができるソースラインに沿って対応点を検索する必要があります。図から、我々は、視差近いオブジェクト、視差（赤両矢印線）に対応する3つの点が異なっていることも大きいが小さい視差遠くの物体を見ることができ、これは我々の知識と一致しています。
画像補正後の結果。二重の矢印は、赤い点は、視差に対応しています
それに沿った点放置水平ソース線の右方向のベストマッチ画素を見つける上述、実際の操作は容易ではない、簡単に聞こえます。仮定は理想的な状況であるためです。ピクセルが一致する場合には、実際の行動には、いくつかの問題が見つかりました：
図1は、実際には、カメラは、2つの同一平面上にあることを保証するために、パラメータの一貫性が非常に困難であり、計算処理は、必ずしもちょうど極ない点に対応する点、放置して誤差が、累積生成しますライン。検索範囲を緩和する必要があるので、しかし、それは、非常線付近でなければなりません。
図2に示すように、単一のピクセルが比較され、ロバスト性が、異なる照明変化とビューの衝突角度の影響を受け易い、不良です。
4
スライディングウィンドウに基づく画像マッチング
上記の問題を解決する：マッチングは、スライディングウィンドウを用いて行われます。図に示すように。スライディングウィンドウと同じ画素サイズ内で右に左から右に左の画素（左中央ブロック赤）、およびそれの類似性を評価し、類似性測度多くの方法があり、このような二乗誤差法（二乗差の和、SSDと称する）、図小さいSSDのその他の同様の2つの左と右の窓など。図に示す計算結果のSSD下の曲線、最小画素値は一致が発見された最良の位置に対応するSSD。
ウィンドウマッチングを摺動する原理を示す模式図
具体的な操作は、このようなスライディングウィンドウサイズのような多くの実用上の問題があります。スライディングウィンドウのサイズを選択して、まだ非常に豪華です。次の図は、図の奥行き計算結果の異なるスライディングウィンドウサイズの効果を示します。また、図から検索します：
ウィンドウの小さなサイズ：高精度、およびリッチな詳細、それがノイズに特に敏感です
大きな窓：精度が高く、十分ではありません詳細はありません。しかし、ノイズに対してより堅牢
図のウィンドウ深度算出結果を摺動異なるサイズの影響。
この効果は、良好なマッチング方法だけでなく、スライディングウィンドウ点別マッチングによるものではないがスライディングウィンドウに基づいて算出された奥行きマップマッチング方法、しかし、計算効率は非常に低いです。
5
エネルギー最適化に基づく画像マッチング
より多くの主流の方法は、マッチングを実現するために、エネルギーの最適化に基づいています。エネルギー最適化は、通常、エネルギーの関数を定義します。例えば、2つの図に一致する画素、エネルギー関数のために、我々は、図に次の式1を定義します。私たちの目的は、以下のとおりです。
図1に示すように、左側の画素と対応する全ての画素の右に近いほど、より良い、より近い良好階調値、すなわち式は、図2に記載された画像に反映されます。
図2は、同じ画像で、2つの隣接する画素の視差（奥行き値）も類似していなければなりません。すなわち、図3の式の説明です。
エネルギー関数
上記式1で表されるエネルギー関数は、有名なMRF（マルコフ確率場）モデルです。エネルギー関数を最小化することにより、我々は最終的にベストマッチの1つを得ました。左および右の図の各画素のマッチング結果と、前述の式は、最終的な奥行きマップを与えるために、画素毎に奥行き深度値を得ることができます。
両眼ステレオ法の長所と短所
前回紹介の原則によると、私たちは、両眼立体視方式の深度カメラに基づいて、長所と短所をまとめました。
1
利点
1、カメラの低いハードウェア要件、低コスト。特殊送信機と受信機と構造化光画像TOFを使用する必要がないように、一般消費者を使用してカメラをRGBことができます。
2、屋内と屋外の適用されます。環境からの直接光のキャプチャ画像ので、それは屋内と屋外を使用することができます。対照的に、TOFおよび屋内での使用のみのために光の基本構造。
2
短所
1、それは周囲の光に非常に敏感です。両眼立体画像キャプチャ、自然環境に依存する方法で光、及び環境因子の影響得られる二画像間の輝度差が比較的大きくなり、このような光強度の変化として角度変化を、照明、これは大きな課題を有しているマッチングアルゴリズム提案。以下は、異なる照明条件の画像の下で撮影されています。
異なる光の下では、画像のコントラスト
また、強い光が（そこにオーバーする）と暗い環境下で急激な減少のアルゴリズムの結果をもたらすことができます。
2は、テクスチャ単調なシーンの欠如には適用されません。視覚的特徴によれば、両眼立体視画像マッチング方法による、シーンの欠如のためにそれほど視覚的特徴は、（空、白壁、砂漠などのように）失敗しても大きなマッチングエラーマッチングで得られた、一致するのは困難であろう。
豊かな質感（左）とテクスチャシーンの欠如（右）
3、高い計算の複雑。この方法は、あなたが計算ピクセル・バイ・マッチに必要な、純粋に視覚的な方法であり、これらの様々な要因の影響、アルゴリズムは高くなっているので、アルゴリズムは、偽の拒否戦略の数が増加しますので、比較の堅牢なマッチング結果を確保する必要性が、と思うので、計算の信頼性の高い商用難しく、大量を実現しています。
図4に示すように、カメラベースラインの測定範囲を制限します。ベースラインの測定範囲（2台のカメラのピッチ）に有意な関係：大きいベースライン、遠い測定範囲;ベースライン小さく、近い測定範囲。ある程度のベースラインようにカメラの範囲の深さを制限します。
