シリーズ記事ディレクトリ
このシリーズは 2022 年 12 月 25 日に開始され、3D 復元プロジェクトの研究中の研究ノートを記録し始めました。主に次の部分に分かれています。
1. カメラ画像と座標系の変換関係
2. カメラのキャリブレーション: Zhang Youzheng キャリブレーション方法
3. 特徴の検出とマッチング
4. 運動回復構造法
記事ディレクトリ
序文
3D 再構成は 2D 情報を使用して 3D 情報を復元することであり、パッシブ ビジョン法で使用される 2D 情報は一連の画像です。まず、2D から 3D に移行したい場合は、まず 3D からの数学的モデルを確立する必要があります。 2D に変換し、確立された数学モデルを通じてそれを逆に解く方法を学習します。したがって、この記事では、主にカメライメージングの原理と、世界座標系、カメラ座標系、画像座標系、ピクセル座標系の関係を紹介し、復元の基礎を築くための3次元から2次元への数学モデルを確立します。三次元情報は後ほど。
1. カメラの撮像原理
1.1 ピンホールイメージングモデル
カメラのイメージングの問題を研究するときに最も一般的に使用されるカメラ イメージング モデルは、次の図に示すように、カメラ レンズを小さな穴に単純化するピンホール イメージング (ピンホール イメージングとも呼ばれます) です。
ただし、上の画像は倒立像であり、その後の研究に役立たないため、結像モデルは後の研究を容易にするために像面をレンズの前に移動します。このときの画像は正の画像であり、小さい穴は光学中心と呼ばれます。
ピンホール イメージング モデルの場合、カメラの歪みやその他の影響は無視されますが、一連の歪みやその他のパラメーターを後で参照してピンホール イメージング モデルを補足することができます。
1.2 3D表現
ピンホール イメージング モデルの 3 次元表現を図に示します。
2. 座標系と座標系間の変換
座標系には主に次の種類があります。
(1) 世界座標系: 現実世界におけるターゲットの位置を記述するために導入された基準座標系。
(2) カメラ座標系：世界座標系と画像座標系を繋ぐ架け橋であり、一般にカメラの光軸をz軸とする。
（3）画像座標系：射影関係に従って導入され、ピクセル座標をさらに取得するのが便利です。単位はmmで、座標の原点はカメラの光軸と画像の物理座標系の交点です。
(4) ピクセル座標系: カメラから実際に読み取られた情報、画像の物理座標をピクセル単位で離散化したもので、座標の原点は左上隅にあります。
2.1 ワールド座標系をカメラ座標系に変換する
ワールド座標系とカメラ座標系の間の変換は剛体変換であり、オブジェクトは変形されず、座標系間で平行移動と回転のみが行われます。両者の間の剛体変換（剛体運動）は、２つの座標軸の原点、Ｘ軸、Ｙ軸、Ｚ軸が一致するように、元の座標系に回転行列Ｒと並進ベクトルＴを乗算する。
対応する回転行列は、座標系を X 軸、Y 軸、Z 軸の周りで異なる角度で回転させることによって取得できます。例として Z 軸を中心とした回転を取り上げます。
したがって：
したがって、元の世界座標の 3D 点 P の座標をカメラ座標系に変換すると、次のようになります。
R は 3×3 行列、T は 3×1 行列です。
2.2 カメラ座標系から画像座標系へ
世界座標系からカメラ座標系への変換は３次元座標間の変換であり、カメラ座標系から画像座標系への変換は３次元と２次元間の変換である。
図の三角形の相似関係から、次のことが得られます。
このとき、点Pの座標は点pの座標に変換されていますが、このときのp座標の単位はピクセルピクセルではなくmmです。次に、画像座標系をピクセル座標系に変換し、変換された座標単位はピクセルになります。
2.3 画像座標系からピクセル座標系へ
ピクセル座標系と画像座標系は同一平面（画像面）上にあるのが理想ですが、両者の単位は原点位置から異なります。画像座標系の原点は光軸と像面の交点 o で、単位は mm、ピクセル座標系の原点は一般に画像の左上隅 Ouv として定義され、単位は通常、(u, v) は u 列 v 行 を表すために使用されます。dxとdyは各列と各行が何mmを表すかを示します。つまり、1pixel=dx mmです。
しかし、カメラの製造上の問題により、画像座標系とピクセル座標系との間に一定のずれが生じる場合があり、このとき、それを補正するために座標系オフセット係数を導入する必要がある。２つの座標系のずれについては、画像座標系における点ｐのピクセル座標系における投影位置を求める必要がある。
画像座標系 (x, y) におけるピクセル座標系の水平軸と垂直軸の間の角度として理解できます。理想的には、2 つの座標系は同一平面上
(カメラを製造する際には、この点の問題が小さい
ほど 90° に近づきます。
この部分は、データを読み込むときに発見されます。データによっては、
カメラ内部参照部分にパラメータが存在するもの (以下の一般式に反映) と、存在しないデータがあります。カメラ内部参照におけるこのパラメータの意味を明確にするために、データを調べて上記の結論に達しました。
2.4 全体変換関係の表現
ここでのパラメータは
後の式と計算の便宜上、上式と下式の差を と表します
3. カメラの歪み ( distortion)
上記の説明にはカメラの歪みは含まれていませんが、これについてはここで別途説明します。カメラの歪みの主な原因はレンズであるため、カメラの歪みはレンズ歪みとも呼ばれます。
カメラの歪みの位置は、理想的な画像座標系から実際の画像座標系へ、つまりカメラを画像座標系に移したときの位置である。ディストーションは主にラジアルディストーションとタンジェンシャルディストーションに分けられ、その他にも薄いレンズディストーションなどのディストーションがありますが、他のディストーションの影響は小さく、より複雑なディストーションモデルがディストーションの解析精度に影響します。 , したがって、ここでは半径方向と接線方向の歪みのみが考慮されます。
3.1 放射状歪み ( Radial distortion)
原因：レンズ形状の製造工程上、レンズ中心部の歪みが小さく、周辺部の歪みが大きくなります。種類としては樽型歪みと糸巻型歪みがあります。
r=0 におけるテイラー級数展開の最初のいくつかの項は、動径歪みを近似するためによく使用されます。
ここで、は歪みパラメータ、(x, y) は歪み前の座標、
は補正座標です。r は画像ピクセルから画像の中心までの距離、つまり です
。
3.2 接線方向の歪み ( tangential distortion)
原因：レンズとCMOSまたはCCDの取り付け位置の誤差。したがって、タンジェンシャル歪みがある場合、長方形を撮像面に投影すると台形になる可能性が高くなります。補正前と補正後の座標関係は次のようになります。
ここで、は歪みパラメータ、(x, y) は歪み前の座標、
は補正座標です。r は画像ピクセルから画像の中心までの距離、つまり です
。
したがって、カメラの歪みを補正するには、と の 5 つの歪みパラメータが必要です
。
要約する
キャリブレーションメソッドを通じてカメラの内部パラメータとカメラの外部パラメータを取得でき、また、キャリブレーションメソッドは対応するカメラの歪みなどのパラメータも取得でき、Zhang Zhengyou キャリブレーションメソッドは広く使用されています。上記の内容は、3次元再構成における座標系間の変換に関する関連知識の学習ノートです。このシリーズの次のステップは、カメラの内部および外部パラメータ マトリックスを取得するための Zhang Zhengyou キャリブレーション方法に分かれています。