【コンピュータビジョンにおける多視点幾何学シリーズ】ピンホールカメラモデルをわかりやすく理解する

過去を振り返り、新しいことを学べば、あなたも教師になれる！

1. 参考資料

「コンピュータ ビジョンにおけるマルチビュー ジオメトリ - 第 5 章」 - Richard Hartley、Andrew Zisserman。

2. ピンホールモデルの紹介

1. 重要な概念

1.1 投影中心/カメラ中心/光学中心

投影センター呼ばれたカメラセンター、 としても知られている光学中心。投影の中心はユークリッド座標系の原点に位置します。

1.2 像面/焦点面

平面$Z=f$と呼ばれますイメージプレーンまたは焦点面。

1.3 主軸/主光線

カメラの中心から画像面までの垂直線をカメラのスピンドルまたはチーフ・レイ。

1.4 要点

主軸と像面の交点を主なポイント。

1.5 メインプレーン（カメラ）

カメラの中心を通り画像平面に平行な平面を次のように呼びます。カメラのメインプレーン。

2. カメラ投影

3D 世界から 2D 画像への縮小は投影プロセスであり、1 つの次元が失われます。このプロセスをモデル化する一般的な方法は、次のとおりです。中央投影, 3D ワールド ポイントから空間内の点から空間内の固定点 (投影中心) まで光線が描画され、この光線は空間内の画像平面として選択された特定の平面と交差します。光線と画像平面との交点は、その点での画像を表します。

ピンホール カメラ モデルでは、3 次元空間座標は$バツ=（バツ、やあ、Z{)}^T$のポイント$X\; は$、接続点XXである画像平面上の点に投影されます。$X$と投影中心との間の直線と画像平面との交点。相似三角形に従って、点$（バツ、やあ、Z{)}^T$は、画像平面上の点$(fX/Z,fY/Z、f{)}^{T.\_}$ _ 最後のイメージ座標を省略した後、ワールド座標からイメージ座標への中心投影は次のようになります:
$$（バツ、やあ、Z{)}^T\mapsto (fX/Z,fY/Z{)}^T(1)$$
これは3 次元ユークリッド空間${\text{そして}}^3$から 2 次元ユークリッド空間${\text{そして}}^2$のマッピング。

3. 射影行列

同次座標の概念: 同次座標では、N+1 次元を使用して N 次元の座標を記述します。
点の同次座標$バツ=（{バツ}_{}、{バツ}_{}、{バツ}_{}{）}^T$ (3 次元ベクトル) と非同次座標$（バツ、y{）}^T$ (2 次元ベクトルです)。

世界と画像の点が同次ベクトルで表される場合、中心投影は同次座標間の線形マッピングとして単純に表現できます。具体的には、$\left(1\right)$を次の変数に$代入します$
$$[\begin{array}{c}バツ\\ Y\\ Z\\ \end{array}]\mapsto \left[\begin{array}{c}fx\_\\ 年度\_\\ \end{array}\right]=\left[\begin{array}{cccc}f& & & 0\\ & f& & 0\\ & & & \end{array}\right]\left[\begin{array}{c}バツ\\ Y\\ Z\\ \end{array}\right]\left(2\right)$$
インデックス$\left[\begin{array}{cccc}f& & & 0\\ & f& & 0\\ & & & \end{array}\right]$は3 ∗ 4 3*4を意味します$3\ast 4台$の同種カメラ射影行列、$PP$。$P\; は、$ diag ( f , f , 1 ) [ I ∣ 0 ] diag(f,f,1)[I|0]と書くことができます。$diag(f,\_f、1)[I|0]$、ここで$diag(f,\_f、1)$は対角行列であり、$[I|0]$は行列が$3\ast 3$恒等行列とゼロ列ベクトル。次に、中心に投影されたピンホール モデルのカメラ投影行列は次のように表すことができます。
$$P=diag(f,\_f、1)[I|0]$$

単位行列の概念: 単位行列 (単位行列としても知られる) は、次の正方行列です。対角線上の要素は 1、残りの要素は 0，记作$I$或者$E.\_$ _ 単位行列のサイズはその次元によって決まります。たとえば、3 次単位行列は 3x3 行列です。

恒等行列には、線形代数において多くの重要な特性があります。例えば、任意の行列 A について、単位行列 1 と A の積は A 自体に等しい。これは、単位行列の各要素に A の対応する要素を乗算して加算し、その結果が A そのものになるためです。この特性は、行列の転置と逆演算に重要な用途があります。

恒等行列も深層学習において重要な役割を果たします。ニューラルネットワークでは、恒等行列は、初期化重み行列としてよく使用されます。。重み行列を初期化するときに、それを恒等行列に設定すると、ニューラル ネットワークの初期状態をより安定させることができます。これは単位行列がある程度の対称性とバランスを持っているため、勾配の消失や勾配の爆発などの問題を回避でき、モデルのトレーニング効果を向上させるのに役立ちます。

恒等行列は、行列の類似性を測定するためにも使用できます。画像処理やパターン認識では、2 つの行列の類似性を比較する必要がよくあります。2 つの行列の差を計算することにより、それらの類似性の尺度を取得できます。特殊な行列である恒等行列は、他の行列と比べて明らかな違いがあり、行列間の類似性を測定するために使用できます。

ここで次の表記法を導入します: world point $X\; は$4 次元の同次ベクトルを使用します$（バツ、やあ、Z、1)$意味; 画像点$x$は 3 次元の同次ベクトルとして表現されます。すると$式\left(2\right)$は次のように簡潔に書くことができます:
$$バツ=PX$$

4. メインポイントオフセット

$式（\mathrm{１}）$は、像面の座標原点が主点にあると仮定している。以下の図に示すように、実際の状況はこのようにはならない場合があります。

カメラ座標系$（{バツ}_{さあ}、y_{さあ}{）}^T$の座標原点はカメラ中心であり、この原点の画像平面への投影が主点 p です。画像座標系$（バツ、y{）}^T$の座標原点は画像の左下隅です。

したがって、一般的な場合のマッピングは次のようになります:
$$（バツ、やあ、Z{)}^T\mapsto (fX/Z+p_{}、fY/Z+p_{}{）}^T$$
その中$(p_{}、p_{}{）}^{}$グラフィカル座標系を使用しましょう:${}^{[}$
$$[\begin{array}{c}バツ\\ Y\\ Z\\ \end{array}]\mapsto \left[\begin{array}{c}fx\_+Z{P}_{}\\ 年度\_+Z{P}_{}\\ \end{array}\right]=\left[\begin{array}{cccc}f& & p_{}& 0\\ & f& p_{}& 0\\ & & & \end{array}\right]\left[\begin{array}{c}バツ\\ Y\\ Z\\ \end{array}\right]\left(3\right)$$
定義K
$$K=\left[\begin{array}{ccc}f& & p_{}\\ & f& p_{}\\ & & \end{array}\right]\left(4\right)$$
式$式\left(3\right)$は簡潔な形式です:
$$バツ=K[I|0]X_{さあ}\left(5\right)$$
マトリックス$K$はカメラ キャリブレーション マトリックスと呼ばれ、$式\left(5\right)$では、 (X, Y, Z, 1) T (X,Y,Z,1)^T を記録します$（バツ、やあ、Z、1{)}^T$は${バツ}_{さあ}$カメラがユークリッド座標系の原点に設定され、主軸が$Z$軸の方向、その間の点${バツ}_{さあ}$この座標系に従って表現されます。このような座標系は次のように呼ぶことができます。カメラ座標系。

カメラ座標系の原点はカメラの中心zzです。$z$軸方向は主軸を指します。

5. カメラの回転と変位

一般に、3 次元空間点は、世界座標系と呼ばれるさまざまなユークリッド座標系で表されます。カメラ座標系とワールド座標系は、回転と平行移動によって接続されます。。

世界座標系とカメラ座標系の間のユークリッド変換

if $\widetilde{バツ}$は 3 次元の不均一ベクトルであり、ワールド座標系の点の座標を表します。X ${\widetilde{バツ}}_{さあ}$がカメラ座標系で表される点と同じである場合、 ${\widetilde{バツ}}_{さあ}=R\left(\widetilde{バツ}-\tilde{C}\right)$、ここで$\tilde{C}$ワールド座標系RRにおけるカメラ中心の座標を表します。$R$は$3\ast 3$の回転行列は、カメラ座標系の方向を表します。この方程式は次のように書くことができます:
$${バツ}_{さあ}=\left[\begin{array}{cc}R& -R\tilde{C}\\ 0^{}& \end{array}\right]\left[\begin{array}{c}バツ\\ Y\\ Z\\ \end{array}\right]=\left[\begin{array}{cc}R& -R\tilde{C}\\ 0^{}& \end{array}\right]バツ\left(6\right)$$式(5)
と比較してください。$式\left(5\right)$を組み合わせると次の式が形成されます:
$$バツ=KR\left[私|-\tilde{C}\right]バツ\left(7\right)$$
ここで$X$はワールド座標系で表されます。これはピンホール モデルによって与えられる一般的なマッピングです。

6. カメラの内部パラメータと外部パラメータ

式(7)より$式\left(7\right)$から次のことがわかります。一般的なピンホールカメラ$P=KR\left[私|-\tilde{C}\right]$には 9 つの自由度があります:$K(要素f,p_{}、p_{})$ 、 RRから3$R$ , 3 from$\tilde{C}$。KKに含まれる$K$のパラメータはカメラの内部パラメータまたはカメラの内部キャリブレーション。RRに含まれる$R$と$\tilde{C}$のパラメータは、ワールド座標系におけるカメラの方向と位置に関連しており、次のように呼ばれます。外部パラメータまたは外部校正。

便宜上、通常、カメラの中心は明確にマークされておらず、ワールド座標系から画像座標系への変換は${\widetilde{バツ}}_{さあ}=R\widetilde{バツ}+と$。この場合、カメラ行列は次のように単純化されます:
$$P=k[R|t\left]\right(8)$$ここで、式 (7)
によると、$公式(7)$ ，$t=-R\tilde{C}$。

7.CCDカメラ

基本的なピンホール モデルの場合、画像座標は両方の軸に等しいスケールのユークリッド座標を持つと想定されます。ただし、CCD カメラのピクセルは正方形ではない場合があります。画像座標がピクセル単位で測定される場合は、各方向に不等なスケーリング係数を導入する必要があります。具体的には、 xxの場合$x$和yy画像座標の$y$${メートル}_{}$和${メートル}_{}$、ワールド座標からピクセル座標への変換は$式\left(4\right)$には追加の係数が乗算されたままになります$直径(m\_\_{}_{}、{メートル}_{}、1)$を取得します。したがって、CCD カメラのキャリブレーション行列の一般的な形式は次のようになります。
$$K=\left[\begin{array}{ccc}{ある}_{}& & {バツ}_{}\\ & {ある}_{}& y_{}\\ & & \end{array}\right](9)$$
其中 ${ある}_{}=fm{\_}_{}$和${ある}_{}=fm{\_}_{}$カメラの焦点距離をそれぞれ$x$和$y$方向のピクセル寸法。同様に、${\widetilde{バツ}}_{}=（{バツ}_{}、y_{}{）}^T$はピクセル次元で表される主点であり、その座標は${バツ}_{}={メートル}_{}{p}_{}$和$y_{}={メートル}_{}{p}_{}$。したがって、CCD カメラには 10 の自由度があります。