Xuechengマルチセンサー融合の研究ノートの[]マルチセンサ融合の区別（） - ピンホールカメラモデル

ピンホールカメラモデル

ピンホールカメラのイメージングモデル

：ピンホールカメラ（ピンホールカメラ）のような物理的モデルは、以下の

左側の感光面が呼び出される像面を、ピンホール（ピンホール）と呼ばれるカメラ中心。カメラ画像面の中心との間の距離は、と呼ばれている焦点距離f。
対象物体の3次元世界上の点 $P$カメラの投影中心を通過する光を用いて像面上の点にマッピングすることができます $P ^ { '}$は、図に示すように。

ここで、マッピング関係は、次式で表すことができる：

これらの式を使用して、我々はできると空間内の実際の物体のカメラの焦点距離の三次元位置、撮像面上のオブジェクトの実際の二次元位置を算出します。しかし、座標が得られていることに注意してください $バツ'$そして、 $Y '$のみ『座標測定』ではなく、真のピクセル位置。

ピンホールカメラの1つの問題は、ピンホールを通過する光の受光センサ上に画像を生成するには不十分です。以下に示すように、光は、ピンホールを拡張することによって簡単に達成することができる増加します。すなわち：ただし、これは画像のぼかし効果が得られ、物体光とが互いに重なり反射部で反射された他の光線を標的とする明るいピンホール開口大きな画像が、同時に、撮像面ブレにオブジェクトより深刻。
この問題を解決する一つの方法は、ことにあるレンズを使用し、対象物と目標点から出射された複数の光線を捕捉することが可能です。次は、我々は、レンズと絞りを見てください。

レンズと絞り

適切なサイズおよび位置のレンズ（レンズ）は、対象物体上の点とすることができます $P_1$画像平面上の点に放射されたすべてのレフラクト光 ${P_1}$オン。しかし、屈折レンズの中心を通過する光は、撮像面と交差するまで、それらは直線状に移動する、発生しません。

以下のような他の物体距離より近いまたはより遠い点、 $P_2$、集中現象がそこから放出された光線のセットはレンズによって一点に集中することができないように、像面に焦点を当てていない起こるが、一定の半径の円上に収束します。この漠然としたタクトはしばしば呼ばれる錯乱円（COF）。ブレ軽減するために、あなたは使うことができ、絞りレンズの後ろに直接配置開かれており、調整可能な一般的なサイズの中心とレンズを、。次の図は、原理を示しています。

ピンクッションとバレル歪み

光の外縁部を介してレンズの開口の直径を減少させることによって、それによって結像面上のCOFの大きさを減少、遮断されます。明らかに、より小さいアパーチャボケを低減するが、減光感度を犠牲にすることができます。口径が大きいほど、より多くの光であるが、撮像領域に収束し、ノイズ比に対してより良好な信号は、明るい画像を生成、欠点は、画像ぶれの度合いを高めることができます。
だからどのように計算され、撮像平面的に二次元位置のレンズを介してピンホールカメラと同様とすることができる、三次元点で空間を考える？その画像における空間オブジェクトの位置を計算しません。実際には、レンズや原因の画像の歪みの異なる種類に起因するレンズ。我々は呼んで現実の歪みに最も近い「ラジアルディストーション。」フォーカスレンズが生じ直径が不均一であるためです。これにより、増幅効果は、カメラのレンズ中心（光軸）は、レンズを通る光との間の距離に依存します。倍率があれば増加される、生じる歪みの効果「と呼ばれるピンクッション歪み（ピンクッション歪み）『;倍率場合縮小は、それが呼び出され、』樽型の歪曲収差（樽歪み）。」広角レンズ鏡筒の歪みを使用する場合、通常はそれが起こります。次の図では、歪みの方法を2種類を示しています。

画像のキャリブレーションおよびキャリブレーションの概念

情報は、カメラ画像から抽出されたとき、多くのアプリケーションは、空間位置（車両等）、画像から対象物を取得する必要があります。この目的のためには、削除するか、少なくともレンズの歪みの影響を軽減することが必要です。このプロセスは、呼び出されたキャリブレーション（校正）。それは歪みパラメータを計算することができるように、各カメラのレンズ構成のため、キャリブレーション手順が、実行されなければなりません。これは、通常、オブジェクトの既知のセットによって達成されるような平面市松模様のように画像を撮影しました。これらの既知のジオメトリからすべてのレンズとイメージセンサのパラメータと推定することができます。カメラからの画像の歪みを除去するプロセスが呼び出される（整流）キャリブレーション。次の図は、本コースの較正画像補正装置を示しています。あなたは簡単に直線の両側が深刻な歪みです見ることができます。
しかし、歪み補正の詳細については、我々はもはやここに深く議論されません。お使いのカメラの設定を使用するときにスペースまたはオブジェクト再建の正確な測定が目標である場合は、あなたは、校正手順を実行する必要があります。

三次元変換ピクセルの座標系への座標系

三次元空間において、上述したように、投影面の像点は、我々が画像で見ることができる実際の数字に直接対応していない、デジタル画像は、実際には画素（ピクセル）の構成要素の数千から構成されています。離散ピクセル画像について理解表現する方法で、我々は再びカメラモデルのために密接に見てする必要があります。空間におけるカメラの中心点は、以下に示すように $ザ・$位置、および独自の座標系を有し、座標軸であります $私$、 $J$、 $K$、どの $K$、撮像面に点をγ軸。 $K$結像面と交差する地点軸 $C」$、ポイント $C」$主点（主点）と呼ばれる、画像座標系の中心を表しています。

空間の点 $P$図に示すように、第1のステップは、座標系所有離散画像が画面中心の左下隅を持っているように、主点座標を引いた後の画像平面にマッピングされました。

第二のステップは、ピクセル座標系に座標系を計測変換処理へ変換することです。私たちは、キャリブレーション・プロセスによって提供されたパラメータを使用することができます $K$と $リットル$マッピング式画素の測定値から変換を達成するために、これらのパラメータは、容易に、次の図に示すに組み込むことができます。注：画像座標系におけるそれらの左上隅に原点座標、及び $と$直下向き正方向をγ軸、 $バツ$フロント右に向かって正の方向をγ軸。
後続の章では、我々は、LIDAR 3Dポイントクラウドは、カメラ画像にマッピングされるであろう。私たちは、上記の式でこの目標を達成します。また、焦点距離 $F$と $K$と $リットル$製品（とも呼ばれます $\アルファ$と $\ベータ$）非常にマッピング操作を簡素化し、較正マトリックスに使用されます。

一方、最終的な較正画像が留意されるべきである：それは完全に別個の画素に分類されていない較正画像画素変換後のキャリブレーション画像を回避するため、多くの用途（例えば、特徴追跡）に、元の画像の処理は、有意です中央処理に起因する誤差を算出します。この場合には、上記式を用いて、原画像に修飾されていない位置決め機能をしているが推奨され、その結果は、座標変換得ます。ネットワークへのインポート画像の前に較正された画像に基づいてウェイトトレーニング重み深さ研究のセットを使用する場合は理にかなって - 私たちは、元の画像を使用する場合、歪み（例えば、魚眼レンズの使用による）検出誤差につながりますこれらのネットワークは、通常、歪みの発生した訓練なしで画像を使用しているため。

ベイヤー配列の撮像素子（ベイヤーパターン）

このセクションでは、光の特定の波長は、カラー画素とすることができるデジタル記憶媒体に変換する方法を理解しなければなりません。

カメラは、レンズを通って画像センサ上に画像、光進行を捕捉します。自分の体に光輝きの量を記録し、電子の対応する数に変換する感光素子によって、このようなセンサー。光より強く、より多くの電子が生成されます。露光時間が終了した後、生成された電子は離散的なデジタル数に（A / D）変換器をアナログ電圧に変換され、最終的にデジタルスルーされます。

CCD（Charge Coupled Device：電荷結合素子）やCMOS（相補型金属酸化膜半導体） - 現在、画像の二つの主な技術があります。彼らは電子を生成し、異なる波長を区別できないので、両方の技術は、電圧への電子であり、自然な色ブラインド。各画素の色を示すために、微細フィルタ媒体（また、マイクロレンズとも呼ばれる）の前に配置され、光を介してのみ特定の波長を許容するフィルタリング手段。1つの一般的な方法を可能にする、RGB（赤、緑、青）のアレイ状に配置された波長フィルタ手段の色にマッピングされているだけ三原色（赤、緑、青）こうして別個3を得ることができ、別々に、を通して画像 - 1つの原色に対応する各画像。

様々な組み合わせによって、RGB値は、人間の目に見える色の大部分で生成することができます。各離散色値が8ビット（すなわち、256の値）に符号化されるときは、原則「RGBをフィルタ」を使用して1670万個の異なる色の合計を作成することができます。ここで、最も一般的な配置は、「RGBフィルタ」アプローチであるベイヤー配列（ベイヤー配列）、交互に有する赤色、緑色、及びシアン交互フィルタの組み合わせの二種類です。人間の目は赤色または青色よりも緑色に対してより敏感であるため、緑色フィルタの数が二倍赤ベイヤー配列フィルタまたは青色フィルタです。カラー画像を処理する場合、コンピュータビジョンアプリケーションでは、RGBの3つの層は全て使用することができます。処理能力が限られている場合、異なるチャネルをグレースケール画像に合成してもよいです。それは、我々が使用できることを言及する価値があるOpenCVのコンピュータビジョンライブラリをでcvtColor公式ドキュメントのOpenCVのを参照して、グレースケール画像変換、変換の原則と具体的な手順をRGBの画像を達成するための方法：https://docs.opencv.org/ 3.1.0 /デ/ D25 / imgproc_color_conversions.html

CMOS対CCD

チップ搬送から収集された電子の画像要素のそれぞれの1つまたはいくつかの出力ノードを介してCCDセンサです。その後、電荷はバッファした後にアナログ信号として送信される電圧レベルに変換されます。この信号は、センサ外部信号増幅器によって増幅され、外部A / D変換器によるセンサは、離散デジタルに増幅された信号を変換します。最初に、CCDやCMOS技術は、より高い感度と低ノイズなどの多くの利点を、比較しました。しかし、近年では、これらの違いはほとんど姿を消しました。CCDの主な欠点は、多くの場合、熱の問題にカメラを引き起こす高い生産コスト、高消費電力（約100倍CMOS以下）です。

貧弱な画質が得られ、マシンビジョンアプリケーションのために、しかし、その貧弱な光感度の最初CMOSセンサー、。しかし、現代のCMOSセンサーの開発に、画質と光感度が大幅に向上しました。大幅なコスト利点をもたらすとは異なりCCD、CMOSチップ集積増幅器およびA / D変換器、：CMOS技術は、以下の利点を有します。CCDのために、これらの構成要素は、センサチップの外側に位置しています。CMOSセンサも高速、低消費電力、高いノイズ耐性と小さいシステムサイズを読み取る高速なデータを有しています。これらの利点から、自動車用途では、ほぼすべてのカメラはCMOSセンサーを使用しています。このコースで使用されている画像のほとんどはカメラの設定シーケンスはここで見つけることができます：http://www.cvlibs.net/datasets/kitti/setup.php