要約：
チュートリアルでは、実用的なアルゴリズムに集中するMVS領域がMVSアルゴリズムは、（のような？）本当の正確な3Dモデルを再構築いくつかの合理的な仮定に基づいて、画像のみに依存している、手動の練習である。最も重要なのは、固定されたシーンです。チュートリアルはに問題がMVSます主に2つの方法で画像/詳細幾何拘束最適化問題：画像検出の一貫性を達成1.堅牢な; 2効果的な最適化アルゴリズム...
主にこの2つの要因は、産業用アプリケーションでこのチュートリアルで使用する方法についてを。構造最適化、および次の課題と今後の研究の方向性：もあるに記載の方法は、高レベルの分野の専門知識などを必要とします。
1はじめに
1.1画像取得
秩序-無秩序
1.2射影カメラモデルを
導入で説明したように、より良い再構成を行うために、MVSアルゴリズムは、特に、モデルに対応する各カメラ画像を、追加情報が必要-投影の3Dの点が2D空間に対応する方法について説明し、MVSアルゴリズムしばしば一般依然として既製のデジタルカメラのモデルの写真を撮影するために使用された定義に比例して、[88]ピンホールカメラモデルを用いて、そのカメラの射影行列は3×4行列です。3×4マトリックスのいずれかは、上三角行列Kの3×3 3×4及び姿勢行列積[| T R]に分解することができます。
K ---内部基準マトリックスカメラ
（FX、FY）：垂直/水平方向の焦点距離
（CX、CY）：主点
S：ねじれ歪み
[R | T] ---外部参照行列
R：回転パラメータ
T：変換パラメータ
内部参照行列Kは、カメラの内部リファレンス、垂直、水平焦点（光学中心）の長さ（Fによって構成され、マトリックスカメラであるX、F Y）、主点（C X、C Y）、歪みパラメータS。[R | T]マトリックスは、外部参照の行列であり、Rはカメラの回転行列であり、Tは、変換マトリックスカメラです。カメラセンサの品質カメラの射影行列の11個のまれ推定ないパラメータので、すなわち、歪み仮定S = 0の一般フリー、即ち、センサが画像をカメラ本体の中心点にトリミングされていない場合、正方形FX = FYであるので、通常の注射針カメラの焦点距離fからホールカメラパラメータは、回転行列Rと並進行列Tは、7つのパラメータから構成されています。
追加のレンズまたは広角カメラの撮像効果を（図1.4の左側）良くないため、単純なピンホールカメラモデルは、通常、特に高解像度画像ラジアル歪をラジアル歪を追加するために、カメラモデルを表現するには不十分です若干のずれが境界画素値を複数含むことになるので重要である。
放射歪曲一般MVSアルゴリズムを排除するためにプロセスに入る前に、半径方向の歪みパラメータは、画像歪みトランスの処理をリサンプリングすることによって、推定された場合画像（左下図1.4）歪んだ非理想的なレンズによって取得ように、歪みを除去します。MVSは、計算時間短縮、画像の歪みアルゴリズムを排除するために単純化することができます。画像取得後に歪みを処理するためのいくつかのようにカメラ付き携帯電話などのカメラ、または専用のハードウェア。修正広角画像のサンプリングとビジョンを注意カットを再する必要があり、放射状の歪みと、より複雑なカメラモデルをサポートするために必要なMVSアルゴリズムをこれらの問題を回避するために、余分な追加されます複雑。
最後に、ローリングシャッターのためのもう一つの理由は、特に複雑なモデルであり、それはビデオ処理アプリケーション用（右図1.4を参照）が重要です。画像の各行の露光時間を有するローリングシャッタのデジタルセンサは、わずかに異なっています。これは、グローバルシャッターが同時に全体画像を露光され、グローバルシャッターとは対照的です。シャッターローリングすることは、より複雑なより高いスループットセンサーカメラモデルでは一般的に高くなっています。このように、撮影された画像は、カメラ又はシーン移動した場合、映像シーンの各ラインは、わずかに異なる捕捉します。カメラやスローモーションシーンの場合。WRTのシャッタースピードは、ローリングシャッター効果は無視できるほど小さく、速いです。そうでない場合は、カメラのシャッター投影モデルは積分効果[63]を必要とします。
モーションから1.3構造
運動アルゴリズムからの構造に関する多くの記事がありますが、この章の目的は、その後、我々は重要なポイントSFMアルゴリズムとMVSアルゴリズムとの関係のいくつかを説明し、詳細に問題が考慮されていません。
SFMアルゴリズム画像の入力系列、及び3次元点の各画像のカメラパラメータの映像出力は、一般的にトレース・ポイントと呼ばれる、トレース・ポイントは、典型的には、2Dは、対応する画像上での空間座標と3次元座標点を再構成する。SFM本アルゴリズム図1.5に示す基本的なプロセス：
図2Dは、各画像特徴点について計算されます
画像間の2次元特徴点マッチング
一致関係から2Dトラックの建設
2DトラックからSFMソリューションモデル
バンドル調整モデルの最適化SFM
初期の作品は、2つの剛性三面シーンと[88]という仮定の下でビューにSFM幾何学的特徴を構築に焦点を当てました。カルロTomasiの視覚的な再構成アルゴリズム[182]は初期の作品の原型です。一つの重要な開発は、ノイズ中の2つのロバスト推定三面図及び図マッチング間SFM RANSAC [61]エピポーラ幾何を使用することです。
その後、結果は、2つの主要な部品SFMアルゴリズムに焦点を当てた：カメラパラメータとトラックポイントの3次元位置を推定する複数のカメラ（ズーム）から1）のユークリッド再構成、2）長いトラック2Dポイントを構築します20世紀、SFMアルゴリズムの計算モデルは、画像またはビデオシーケンスのシーケンス[62152]から、例えば、ロバスト構造の画像の大きな集合から得ることができます。最初のSFM産業ソリューションは、[4]フィルムの編集や特殊効果の分野では、たとえば、商用アプリケーションを開始しました。
当初、これらのシステムは、主にデザイン画像の構造セット通りである、すなわち、画像のシーケンスは、例えば、ビデオシーケンスが重要です。構造化、いくつかのMVSアプリケーションはシーケンスを達成することができますが、例えば、Googleのストリートビュー[81]またはMicrosoft路上[143]は、最近の多くのMVSアプリケーションはまた、例えば、異なる時間に異なるハードウェアの取得、画像の順不同のセットを使用します3Dマップ[108,144,30]の空中像。高速速い特徴検出[87,135,57]と記述子[135,36,159,130,26】開発の品質としてSFM非構造化データセットを適用することができるように。長い品質記述子は、異なるポイント射撃姿勢と可能な照明から高品質なトラックを構築します。
大規模な構造化されていない写真SFMに対処するための最後の要素は、マッチング段階を改善することです。構造化されていない写真集のために、近くの候補についての予備知識のない人には画像と一致する必要があります。従って、各画像は他の画像と一致する一即ち、計算コストが高くなければなりません。高品質のアクティブなサブと共に説明有効指数[146]は一致画像対の数百万を可能にします。トレース・ポイント通信簡略グラフ[172]と並列[25,64]はさらにT SFMの技術のプロセス状態をもたらす業界で使用され、例えば、マイクロソフトのPhotosynth [16]とGoogleフォトツアー[15]（図1.6）を参照してください。
1.4バンドル調整
アルゴリズム：RANSACは騒々しいエピポーラ幾何にマッチングから算出
> ---マルチカメラユークリッド再構成パラメータ推定値1及び3Dカメラポイントトラック
2>より長いトラックの構築
アルゴリズムは、BAアルゴリズムSFMの一部ではないが、SFM初期モデルの最適化アルゴリズムは、共通のステップで、カメラパラメータ{Piを}とトレースポイントS {Mjの、{MJI}}のシリーズは、Mjの3Dは、代表点軌跡の座標、Mijのが表します図2Dは、i番目のカメラの画像座標を投影しました。誤差を最小化するためのBA非線形最小二乗アルゴリズム
ここで、v（j）は：ポイントは、Mjの可視インデックスリストカメラである
PI（MJ）：2D投影におけるカメラ3D点Mjのカメラ座標を示し、I及びカメラパラメータは、PIであり、
E（P、M）：一般的に正方形ピクセル次のように測定が、より一般的に使用されるメトリックは、ルートに発現される画素単位で測定された二乗誤差又はRMSE推定精度を、意味、定義されます。
ここで、Nは、残りの項目（1.2）との数です。典型的RMSE値アルゴリズムBAは数ピクセル程度である前に、最適化後のBAの値は、一般的にサブピクセルです。
BAフレームは、SFM対象と組み合わせた複数のセンサをサポートします。融合SFM GPSおよびIMUデータのための方法は、単に式（1.2）の個々の項目、GPS及びIMU信号PIで予測ペナルティカメラモデルからの偏差に加算されます。
MVSアルゴリズムは、カメラモデル推定の精度に非常に敏感です。その理由は、効率のために、それらは一次元マッチング問題（詳細はセクション1.5を参照）への幾何学的ラインカメラモデル定義2D問題の非常に使用することによって照合される、ということです。大規模な再投影誤差た場合、ピクセルが大幅MVSのパフォーマンスを低下させるために比較して、その真のと一致しないことがあります。MVSは、一致基準（第2章で提案されている、すなわち、フォト一貫性対策）見当違いかどうかを容認する方法について主にカメラの再投影誤差の堅牢性に依存します。より大きな一貫性メトリックドメインΩ（式2.1を参照）、よりロバストな測定の一般的に、絵。残念ながら、大規模なドメインはまた、過度の円滑なジオメトリを生成する傾向があるので、精度と堅牢性との間の妥協があります。
MVSの再投影誤差に非常に敏感なので、そうアルゴリズムは通常BA MVS、ターゲットサブピクセルの再投影誤差を要求されます。再投影誤差ので、ピクセル単位で測定され、再投影誤差が所定の閾値を下回るまで、入力画像と再スケーリングカメラパラメータでサンプリングすることができることに留意されたいです。限り、これはまだダウンサンプリング画像が含まれているとして、この方法は、MVSは、役割[72]をプレーするために十分な質感とディテールを動作します。
1.5マルチビューステレオ
マルチビュー立体ヒトステレオビジョンの起源が遡ることができ、そして問題としてそれを計算することにより、ステレオマッチング問題を解決するための最初の試み[139]。今日までは、デュアルビューステレオアルゴリズムが研究[162]の非常に成熟した非常に活発な地域となっています。デュアル自然の起源斜視図のマルチビュー三次元形状は、幾何学的形状を改善しました。三次元の幾何学は、2枚の画像の二つの異なる視点から捕捉されていないマルチビューが、写真キャプチャ複数の中間点は、画像ノイズ又は表面テクスチャ[184147]、本来改善さデュアルビューステレオとして、堅牢性を高めるためにこの方法は、今、問題の異なるタイプへと進化します。
この古典的なステレオアルゴリズムとMVSは同じ原理を有するが、MVS画像処理アルゴリズムは、物体の画像の集合の周りに、より多様な視点に設計され、また、偶数次数の数百万で、画像の非常に大量に取り扱います。MVS問題の性質の違いは、最終的には、一例として、産業用アプリケーションのための3Dグラフィックスを別のアルゴリズムステレオ古典対応を生成します[108,144,30]、効果的に首都圏の再構築、キロたら絵の何百万人との契約、状態、最終的に全世界。
画像内のピクセルに一致する困難な問題固有のステレオまたはマルチビューステレオあります。実際には、オプティカルフローの視野は、別の問題は非常に活性なコンピュータである[33]に対応した画像濃度の問題を解決します。主な違いは、MVSオプティカルフローの問題は、典型的には、メインアプリケーションが3D再構成画像の補間ではない2枚の画像（ステレオと同様二つのビュー）、未校正カメラ、ということです。MVSの場合には、カメラパラメータが既知である、シーンの3Dジオメトリが正確に入力された画像内の問題を解決するために、対応する解決するために、ことに留意されたいです。ジオメトリー（1.7左図参照）は、3Dシーンの3D点を考慮属し、その理由を参照してください。可視光は、投影された各画像の座標との間のカメラ固有の対応関係に確立された3D点群を投影しました。：画像内の所与の画素は、画像は、ピクセルの他の二つの成分に対応する画素を見つける必要がある
他の領域内の画像ピクセルの可能な候補効果的な方法を生成します。
•メトリックは、候補者が正しい可能性と一致するかどうかを測定します。
あなたがカメラの形状がわからない場合は、一般的に光の流れである場合、画像内の各ピクセルは、他の画像内の他のピクセルに一致させることができます。すなわち、各画素について、それは別の2D探索画像画素に行わなければならないれます。カメラパラメータが既知（シーンが剛性である）である場合しかし、一次元画像検索に一致する2D簡略化検索から（図1.7参照）。画像内の画素とカメラ画像の中心を介して画素A3D光を生成します。画像光に位置する各画素の他にのみ第二の画像に投影されています。同じ3Dシーンを異なる視点幾何学的制約から見た異なる複数のカメラは、エピポーラ幾何[88]と呼ばれています。候補と一致する可能性を決定するための対策として、いわゆるフォト一貫対策が通信中の2つの画素（又は画素のグループ）の確率を推定構築する方法に関する膨大な文献があります。背景MVSのコンプライアンス測定での写真は、第2章で詳しく説明されています。