構造化光三次元イメージング
マイクロベースライン構造化光
論文は、リンクされています
概要
我々は、ベースラインマイクロ構造光（提案し、携帯電話やマイクロロボット等の小型機器用に設計された新たな3次元イメージング法を、MSL）を。MSL小さなプロジェクタとカメラベースライン投射ハードウェアコストを使用して、シーン深度回復のための計算アルゴリズムのより少ない量を使用することができます。主観察は、ベースラインにおける小さな差が、それによって非線形達成し、より小さなをもたらすことである画像形成モデルSLの一次近似を。：この理論の重要な結果にこのリードMSL式A線形化SLの画像形成方法。各ピクセルは、2つの未知数（アルベド及び深さ）を有するため、MSL方程式は制約が、効果的部分最小二乗法を解くために使用することができます。我々は、そのようなベースライン投影モデルなどの異なるシステムパラメータからのものであると分析するMSLのパフォーマンスを、最適なパフォーマンスのためのガイダンスを提供します。これらの知見により、我々は、理論と実践的なテストをテストするためのプロトタイプを構築しました。
1. はじめに
我々は、新しい提案ミクロ構造光ベースライン（として知られているSLの方法、それによって装置の小型、低消費電力及び低複雑にデプロイ開くと、そのようなA高度に制約のあるデバイスに適しているMSL）を、SLのものであってもよいですセックス。小さな（マイクロ）プロジェクタカメラベースラインの制約の下でMSL作業、図に示すように、図1（B）は、観察に基づいて、以下に示す：小画素のプロジェクタとカメラベースラインの結果との間の小さな差を。
光画像形成モデルの構造におけるわずかな違い（不明の場合（奥行きアルベド）は非線形である）ことを私たちの主な理論的な洞察は、一次近似により直線化することができます。新しい線形をもたらし、このSL制約が由来、すなわちベースライン微細構造光（MSL）式は、それがアルベドシーン深度および強度測定値は、リンクされました。
2. 関連研究
構造化光符号化技術：
一般的に、SL技術は、シングルおよびマルチレンズカメラ方式に分けることができる[25]。マルチレンズ技術、光学ストライピング[2]、グレースケールコード[23]と正弦位相シフト立て続けに複数のパターンの投影の推定形状に[3]。これらの技術は、アルゴリズムを復号簡単の深さを計算することにより、高精度で復元するが、複雑な投影装置を必要とすることができる（例えば、LCD、DMD）動的それらは低複雑設備の動的なシーンに適していないように、投影モードを変更することができる装置、携帯電話など。シングルショットの強度に依存するパターンのみが投影される技術、[32]、色[8、13]、または局所近傍に対応するプロジェクタコード[9、20、14]。技術は、単一モードの動的シナリオに理想的であるが、これらの技術は、典型的には、アルゴリズムを復号化計算の複雑さを使用し、専用ハードウェアのリアルタイム性能を達成するために必要です。いくつかの単レンズ（例えば、フーリエ形状測定（変換比較的単純な復号化方法を有するFTP）[30]）、それらは、シーンの強い仮定テクスチャー及び深さを作りました。
リアルSLシステム：
いくつかの方法の高速（実行するために使用することができる1000年FPS）モバイルセットに移植することができないSL、または高価な高速度カメラの使用を、超深度として、[12]、または最近使用した学習に基づく方法[24]とUltraTereo [7]。十分なデータ、及びでのKinect [1]やその他の特別なハードウェア、これらの方法では、迅速かつ正確であることが判明しました。
私たちの目標異なります
私たちの目的は、従来の使用法を復号簡単、分析、閉形開発することにある小さなベースライン制約の微分方程式SL方程式を。興味深い将来の研究方向は、強化するために、データ駆動型の手法を使用することで、潜在的にさらに精度と速度を向上させるために、MSLを。
3. 構造化光予選
まず、説明のカメラベースライン・システム上に投影構造光の役割を理解するための画像形成SLモデルシステム。 画像形成モデル。図考える。1（B）は、プロジェクターに示すカメラ対- 。前記カメラとプロジェクタ中央水平移動我々は、長方形の構成プロジェクタやカメラを想定Bユニット。我々はさらに、プロジェクタとカメラが同じ空間解像度と焦点距離があるとFを。これらの仮定は、説明を容易にするために過ぎず、そして一般的なシステム構成を提供するための分析技術とパラメータが有効です。
次のセクションでは、我々は、投影パターンを必要とする（ただし、2枚の画像がキャプチャされる）が、計算コストを下げ、効率よくパワー限定システムに実装することができる技術を設計しました。加えて、従来のができるだけ大きいが、提案された技術は、デバイスの小さなサイズのために設計されているようなSLベースラインシステム、装置、プロジェクタ及びカメラベースラインとの間のわずかな（マイクロ）を可能にします。
4. マイクロベースラインの構造化光
差分法との関係
最近照度差ステレオのために設計された上記の分析及び差動の方法[5]及びライトフィールドベースの動き推定[18]に類似しています。これらのメソッドは、解決が困難元非線形問題の線形もあり、得られた溶液を分析し、扱いやすいです。同じ精神において、MSLは、と見なすことができるSLの微分バージョン。
光の流れとの関係
注目すべきこと、のようなMSLマトリクス構造テンソルLucasKanadeトラッカーで[16]。立体視差の文脈において類似線形/オプティカルフローと2× 2は検討されている形成されたマトリックス[6、21]。構造テンソルと行列はMSL重要な違いであるMSL行列のみその誘導体投影モードに依存します。したがって、投影モードの性質に応じて可逆MSLマトリックスを分析することができるが、シナリオに従って分析することができません。
5. MSLマトリックスの可逆性
この命題は、パターンが投影によって一定又は指数関数ではないことに留意、理論的に、確保MSL方程式が解を有します。次に、我々は、ノイズの存在下での重要な検討事項である溶液の安定性を議論します。このように、投影モードは周期的である溶液MSL方程式は安定です。モードサイクルは、分析窓と整列されない場合があります。しかし、実際には、我々は小さな奥行き推定バイアスに実験で示されているよう堅牢です。
6. テクスチャエッジの取り扱い
計算の単純さを保つために、私たちはアルベドがちょうど画像のスケーリングされたバージョンを案内することを想定しています。図2は、案内対象の高テクスチャの深さの説明によって算出されるMSLのに対して、標準のMSLの利点。パイロットMSL基づいて大幅に改善こうして回収MSL深さ精度、ほとんど計算オーバーヘッド、及び提案手法の適用範囲を拡張します。それ以来、すべての我々の結果は、ブート使用しているMSLの計算方法を。
7. MSLのための実用的な考慮事項
図3（B）は、ベースラインの関数としていくつかの代表的なパターンの周期の精度を示します。明らかに、最小の誤差が増加するにつれてベースライン期間の増加に対応します。
小さなベースラインは、一次近似することを確実にするために確立されたが、三角測量誤差苦しん[31]。一方、大規模なベースラインの必要性大きな窓なので、地元の不変の仮定が成立しない場合があります。図基線の関数として図4に示すシミュレーション精度。この分析では、ベースラインを考えると、我々はモデルサイクルベースラインの最高の精度を達成することを選択しました。私たちは、観察例の異なるセットでMSLが常に達成8〜30ミリメートルの間で最高の精度を。実際には、パラメータの正確な選択は、解像度、カメラとプロジェクタのデフォーカスプロジェクターを可能として、いくつかの付加的な要因に依存します。我々が見つかりました15ミリメートルのベースラインは、このベースラインと一致し、我々の研究室のプロトタイプが（図参照最も正確な結果が得られた6）。
どのような機器の制約の下では、既存のよりMSL より適切なSL技術？目標は、形状のMSLにあり、低複雑性およびハードウェアプラットフォームは、コンピューティングリソースが限られているので、従来までの一般的なハードウェアに代わるものではありません。システムは、複数のパターンを投影することが可能である場合、例えば、位相シフトを示すように[3]、も狭いベースで正確に動作することができ、図1に。システムが十分な計算リソース及びている場合同様、/または大きなベースラインを、従来の単一の手法[20、8、33、1、7、24]よりも達成することができるMSLの高い精度。
システムは2台のカメラが装備されている場合はさらに、あなたは正確なステレオマッチング技術に依存することができ、高い計算要件にもかかわらず、対応関係に[17]。しかし、質問、限られたハードウェア及び計算能力におけるデバイスの少量、MSLは、軽量ソリューションを提供することを約束します。図5は、例示するMSL未満で速くしながら、より正確なマッチングブロック100mmのベースライン。特定の数は、特定の構成に依存するが、ベースラインが小投影単一パターンであるが、MSLが好適です。
8. 実験
ハードウェアの設定
当社の装置は、1280× プロジェクター（DLP 720 AAXA Technologies社）、F = 8ミリメートルと2048× 1536マシンビジョンカメラ（バスラーacA2040120uc）、F = 12ミリメートルを。異なる焦点距離は、プロジェクタに導き、カメラ画像における画像サイズのピクセルサイズは2.5倍。カメラは、プロジェクタのベースラインレベルの上方に配置され示されるように、15ミリメートル図です。システムはまた、不可避の機械的な制約に起因する垂直方向の基部を有します。しかし、以来、私たちは、上下対称のパターンを提案し、これだけのベースラインレベルとの差を考慮して、垂直方向のベースラインレベルの差が計算に影響を与えません。
基礎知識
我々は、5つのフレームシフト周波数位相がグランドトゥルースの奥行きに対応する情報キャプチャ使用1280px、100pxに、は50px、20ピクセルと10pxのパターン周期を。サブピクセル視差推定精度が可能となることができる低周波数の位相を展開するために使用されます。
電話での時間を実行しているの比較
リアルタイム性を評価するために、我々は突起を介して800ミリメートルDOMポイントモードを実行し、ブロックマッチングアルゴリズムは、マイクロステレオベースラインを有するMSLを比較しました。結果を示す図です。私たちは、より正確ではなく、タイミングを複雑にしているに集中するためにここにいる、投影モードと、復号化戦略は、狭いベースライン用に最適化されていないことに注意してください。図5（B）に示しているAndroidデバイスの従来の（例えば、ブロックマッチングを使用すると、上部googlepixel2xlの操作に基づいて、異なる画像解像度一致するセミグローバル方法（OpenCVの[4]実施SGBM間の比較を））。そして、セミグローバルマッチングブロックマッチング実行時3MP像である133msと1秒。これとは対照的に、でMSL ことを示唆してはるかに高速で27msというの速さ、MSLは、モバイルプラットフォームに適しています。
ビデオシーケンス
光一の利点のSL技術は、ビデオレートの深さを計算する能力です。これを確認するために、我々は、毎秒30のフレームのためのビデオレートで画像のシーケンスを捕捉3D画像。代替フレームがキャプチャされ、指導のためのパターン画像がありません。システム出力速度は、（任意のモードなしで計算することなく、ビデオ、およびビデオなしモードの深さを15fpsの、それは一般的に実際に使用されている-シーン分離）。図は、我々は3つの代表的なフレーム8の深さを示しています。変更の深さは、ジェスチャーの様々なはっきりと見えることに注意してください。さらに重要なことは、オーバーヘッドの深さを推定するために使用される計算は非常に小さく、それが作るリアルタイムに出力することができる魅力的なモバイル技術システムとなってMSLを。
実験的評価
図9に示すいくつかに基づいてシーンの異なる質感と幾何学的な複雑MSL 回復が3Dになります。全ての実験は、異なる期間に三角形のパターンによって捕獲された、それが示すMSLを使用することができる様々なシナリオを。最初の行は、種々のテクスチャ複雑性平面物体との結果を示しています。マネキンシーンは限られた非平面テクスチャシーン実証MSLを。どのように3次元モデルグラフの額と頬に注意してください。最後に、表示深度範囲精度小高空間複雑地形BAS。表示してグラフィック計6Px期間算出奥行きマップ地形BASは、より高い空間分解能を得ます。であること注3次元モデルを正確太ももカメラを再構築します。全ての場合において、深さ誤差未満である8ミリメートル。
障害
以来、MSLはローカルウィンドウ推定技術で、このようにして算出深度エッジの深さ（図の参照オブジェクトの境界に付着し、その結果、平滑化された平面シーン9）。高性能テクスチャオブジェクトと複雑な形状（例えば、微細構造）を低減一定部分の仮定に違反することになります。第二に、案内MSLは、アルベド窓が周囲光の下で画像のバージョンをスケーリングされると仮定する。アンビエント照明、プロジェクタや照明や表面法線スペクトルを反映し、それによりアーティファクトを生じる、広く変化する場合、この仮定は成り立ちません。第三に、サブピクセル精度の強度に依存MSL -視差が、間接照明の影響を受けやすい、各反射又は表面下散乱でうまく機能することができないこと（図10）。
9. ディスカッション
私たちは、新しい提案SL技術を、それが制限と低コンピューティングパワーで実行するように、ベースライン、シンプル、低コストのハードウェアを絞り込むことができます。一次方程式に対応するカメラの投影によって、我々は、有効な深さ推定することができる部分的最小二乗法の使用を実証します。これは、投影パターンの設計のための理論と実践的なガイダンスを提供します。MSL深度算出は、電話、のUAV、マイクロロボット内視鏡上の理想的な撮像距離作り、限られたハードウェアで行うことができます。