カメラ座標系、ワールド座標系、ピクセル座標系変換、OPENGLDEFocal Length と Opengl の Fov 変換

目的: カメラの仕組み、レンダリング、およびカメラでキャプチャされた深度マップを理解する

最近、カメラパラメータとopenglレンダリング画像の間のパラメータ関係が研究されています。プロジェクト マトリックスは、カメラ座標系からピクセル座標系に移行する過程で遭遇します。

理論的なカメラ変換

カメラベースの学習理論の知識。通常、プロジェクトを構築するにはカメラ パラメーターを使用し、次の 2 つのプロセスを経る必要があります: カメラ
座標系 -> 画像座標系 -> ピクセル座標系頂点p ( xc , yc , zc ) p( x_c)
カメラ座標系$p(x_{}、y_{}、z_{})$、画像$p(x_{}、y_{}）$。その変換行列は$M_{プロジェク\_\_}$
以下にいくつかの手順を紹介します。

1. カメラ座標系から画像座標系 $M_{p2c\_}$
   同じ場所でも、異なるカメラでは異なる写真が得られます。このプロセスは一般的にカメラのパラメーターに関連していることがわかります。カメラの一部のパラメータは通常、カメラのマニュアルに記載されています。また、インターネット上で対応する形式のドキュメントを見つけることもできます。また、一部のパラメータは設定ファイルにも含まれています (たとえば、スキャナ内のイメージ カメラのカメラ パラメータ)。これらのパラメータの機能を理解するには、カメラのイメージング (小さな穴のイメージング) の原理を理解する必要があります。
   
   画像内の座標系は$(O^{「}\times 、」{○}^{\text{'}}y)$、カメラ座標系は$(O_{}{バツ}_{}、{○}_{}{y}_{}、{○}_{}{z}_{})$を理解しやすくするために、視覚的なビューを変換します。なぜなら$(O^{「}\times 、」{○}^{\text{'}}y)$和$(O_{}{バツ}_{}、{○}_{}{y}_{}、{○}_{}{z}_{})$在$(O_{}{バツ}_{}、{○}_{}{y}_{})$平行。したがって、幾何対称性に従って、画像座標系は下図に示すように鏡映位置に移動します。ここで、$\angle {○}_{}AB\; は$直角です。画像はあまり正確ではありません。

なぜなら、相似な三角形 (1) :
$$△ABO\_{}_{}〜△○○\_{\_}_{}$$
次の式を取得します。
$$\frac{{○}_{}}{{○}_{}{Z}_{}}=\frac{oC}{AB\_}=\frac{{○}_{}}{{○}_{}B}\left(1\right)$$
別の式 (${○}_{}$が原点、記号を変更)
$$\frac{{○}_{}}{{○}_{}{Z}_{}}=\frac{}{Z_{}}\left(2\right)$$
$$\frac{oC}{AB\_}=\frac{}{{バツ}_{}}\left(3\right)$$

なぜなら、相似な三角形 (2) :
$$△ABO\_{}_{}〜△○○\_{\_}_{}$$
次の式が得られます。
$$\frac{{○}_{}}{{○}_{}B}=\frac{CP}{BP\_}\left(4\right)$$
別の式 (${○}_{}$は原点、記号を変更)
$$\frac{CP}{BP\_}=\frac{}{Y_{}}\left(5\right)$$
なぜなら$\left(1\right)\left(2\right)\left(3\right)\left(4\right)\left(5\right)$式は次のようになります:
$$\frac{}{Z_{}}=\frac{}{{バツ}_{}}=\frac{}{Y_{}}$$
さらに次の式に変換します。
$$バツ=\frac{f\ast {バツ}_{}}{Z_{}}\left(6\right)$$
$$y=\frac{f\ast Y_{}}{Z_{}}\left(7\right)$$
そのうち$\left(6\right)、\left(7\right)$式は次のように行列の形式で記述されます。
$$\lfloor \begin{array}{c}バツ\\ y\\ \end{array}\rfloor =\lfloor \begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ & & & \end{array}\rfloor \lfloor \begin{array}{c}{バツ}_{}\\ Y_{}\\ Z_{}\\ \end{array}\rfloor$$
最終的な行列方程式$M_{p2c\_}$デフォルト:
$$M_{p2c\_}=\lfloor \begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ & & & \end{array}\rfloor$$
短縮式は次のように取得できます。
$$\lfloor \begin{array}{c}バツ\\ y\\ \end{array}\rfloor =M_{p2c\_}\lfloor \begin{array}{c}{バツ}_{}\\ Y_{}\\ Z_{}\\ \end{array}\rfloor$$
この時点で得られた$\lfloor \begin{array}{c}バツ\\ y\\ \end{array}\rfloor$物理的な単位です。ピクセル単位ではないため、ピクセル単位に変換する必要があり、各ピクセルの特定の物理長が必要です。カメラのセンサーパラメータは必須です。カメラ座標からピクセル座標までを以下に説明します。

2. 画像座標系をピクセル座標系に変換$M_{私}$
   カメラ座標系をピクセル座標系に変換する必要があります。これには 2 つの問題があります。
   1) 2 つの座標系の問題。画像座標系では、一般に原点は中心にあります。ただし、従来のピクセル表示座標系の原点は画像の左上隅であり、このベクトルを変換する必要があります。
   2) 単位変換の問題: 各ピクセルが何個の物理単位 (通常は mm) を持つかを知る必要があります。物理単位はミリメートルです。どちらの変換でも、 dx 、 dy d_x,d_yを知る必要があります。$d_{}、d_{}$各列と各行が何 mm であるかを示し、列の幅を表します$1ピクセル\_\_\_\_=d_{}mm$ ; 線の幅$1\; ピクセル\; =\; dy\; mm\; 1\; \backslash \; space$$1ピクセル\_\_\_\_=d_{}mm$、一般に$dx\; =\; dy$$d_{}=d_{}$。したがって$x$座標で表されるピクセルは$\frac{}{dx\_}$、対応する$y$座標で表されるピクセルは$\frac{}{y\_}$
   図に示す 2 つの座標系は次のとおりです。
   
   座標系を変換すると次の式が得られます。
   $$あなた=\frac{}{d_{}}+{あなた}_{}\left(8\right)$$
   $$v=\frac{}{d_{}}+v_{}\left(9\right)$$
   そのうち$\left(8\right)、\left(9\right)$この式は次のように行列の形式で記述されます。
   $$\lfloor \begin{array}{c}あなた\\ v\\ \end{array}\rfloor =\lfloor \begin{array}{ccc}\frac{}{d_{}}& 0& {あなた}_{}\\ \frac{}{d_{}}& 0& v_{}\\ & & \end{array}\rfloor \lfloor \begin{array}{c}あなた\\ v\\ \end{array}\rfloor$$
   得られた行列式は次のとおりです。
   $$M_{私}=\lfloor \begin{array}{ccc}\frac{}{d_{}}& 0& {あなた}_{}\\ \frac{}{d_{}}& 0& v_{}\\ & & \end{array}\rfloor$$

上記 2 つの変換をまとめると、次のようになります。
$$M_{プロジェク\_\_}=\lfloor \begin{array}{ccc}\frac{}{d_{}}& 0& {あなた}_{}\\ \frac{}{d_{}}& 0& v_{}\\ & & \end{array}\rfloor \lfloor \begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ & & & \end{array}\rfloor$$
最後に、数式射影行列が得られます。
$$M_{プロジェク\_\_}=\lfloor \begin{array}{cccc}\frac{}{d_{}}& 0& {あなた}_{}& 0\\ 0& \frac{}{d_{}}& v_{}& 0\\ & & & \end{array}\rfloor =\lfloor \begin{array}{cccc}{f}_{}& 0& {あなた}_{}& 0\\ 0& f_{}& v_{}& 0\\ & & & \end{array}\rfloor$$
公式で関係を理解すると、$f_{}=\frac{}{d_{}}$、焦点距離が何ピクセルであるかを示します（これはピクセル単位です）、同様に$f_{}=\frac{}{d_{}}$また、ピクセル数も示します。一般に、$d_{}=d_{}$、焦点距離は 1、上図の$f$。

要約は次のとおりです:
$$M_{プロジェク\_\_}=\lfloor \begin{array}{cccc}{f}_{}& 0& {あなた}_{}& 0\\ 0& f_{}& v_{}& 0\\ & & & \end{array}\rfloor$$

OpenGL 座標レンダリング理論

カメラベースの OPENGL 理論的知識。通常、カメラ パラメーターを使用して、より多くの fov、アスペクト比、近距離、遠距離を必要とするプロジェクトを構築します。その中で、特定のレンダリングには 4 つのパラメーターがあり、空間に必要なパラメーターを正確にレンダリングでき、理解しやすく、正規化操作と簡単なレンダリング計算のためのスペースを削減できることがわかりました。詳細については、カメラ設定に関する Baidu learnopengl を参照してください。上記4つのパラメータについて設定します。2 種類のプロジェクトがあり、以下にその原理を紹介します。

fov、アスペクト比、近距離、遠距離に変換しない場合は、マトリックスを直接投影し、glFrustum を通じて完成させることができます。ただし、opengl レンダリングの学習では、通常 gluPerspective が使用され、使用されるパラメーターは fov、アスペクト比、near、far です。シェーダーにプロジェクト マトリックスを直接設定して、レンダリングされたプロジェクト マトリックスを取得できます。また、gluPerspective を模倣してプロジェクト マトリックスを生成すると同時に、上記 4 つに変換することもでき、opengl の gluPerspective を使用してプロジェクト マトリックスを生成することができます。どちらの方法でも問題なく動作します。
1) カメラのパラメータは fov、アスペクト比、近距離、遠距離の 4 つのパラメータに変換されます。
まず、これら 4 つのパラメータを理解してください。
1) 視野 (FOV)、アスペクト比 アスペクト
比は、最終的に表示される画像の x/y 比です。
FOV: 開いた視野の角度を示します。以下の図を参照してください。
2) 近傍および遠方は、遠方および近方の接平面と原点の間の距離を表します。図の 2 つの平行な平面を参照してください。

上の図の関係がわかります。

画像と一致する画像をレンダリングする必要がある場合、画像は img として表現され、画像を通じてアスペクト比と FOV を設定します。
定義によれば、ratio は最終的に表示される画像の x/y 比であり、
計算式は次のとおりです:
$$側面\_\_\_\_\_=\frac{私はいます。コルス\_\_}{私はいます。行\_\_\_}$$
上の式に当てはめると、top は y 軸の半分、つまりピクセル座標系のピクセル幅に対応します。つまり、
$$トップ\_\_=\frac{ピクセル幅\_\_\_\_\_\_\_}{\mathrm{２}．0}$$
このうち、near は焦点距離 (ピクセル座標系) に相当し、ピクセル座標系で表されます。ユニットが統一されています。
後で次の式に変換されます:
$$FOV\_\_=\mathrm{２}．0\ast atanf\left(\frac{ピクセル幅\_\_\_\_\_\_\_}{\mathrm{２}．0\ast 焦点長さ\_\_\_\_\_\_\_\_}\right)\ast \frac{}{180。0}$$
近距離と遠距離の設定距離は、できるだけ近くても遠くても構いません。
そのマトリックスは次のとおりです。

設定後、レンダリングされた画像はカメラでキャプチャされた画像と一致します。

導出プロセスに参加した後。