Ruibo の技術スタッフは日々の業務の中で、お客様からモデルの斑点の問題に関する問い合わせを受けることがあり、その結果、Ruibo の社内技術評価質問でも「モデルの斑点が発生しやすい状況について説明してください」という質問が生まれました。 . 斑点と近似解」。斜め写真の実際のモデルの場合、スペックルの問題は常にモデルの結果に残る「影」であり、モデルの外観と感触に影響を与える原因の 1 つであることがわかります。
多くのお客様は上記の問題を完全に解決したいと考えていますが、適切な作業期間を選択したり、大量の写真のカラーバランスを調整したりするなど、業界内外で多大な労力がかかるという事実に悩まされています。これらの方法はプロジェクトの効率を低下させ、十分な効果が得られません。
このような問題を根本から解決する方法はあるのでしょうか？そこで今日、Ruibo は最新のテクノロジーを共有します。カルマン フィルターの滑らかな露出モデルに基づいており、モデルの斑点の問題を部分的に解決します。
▲ パターンはモデルの外観と雰囲気に大きな影響を与えます
モデルスペックルの主な
原因 モデルスポットの主な原因
01天気
（光と影）の変化
上級航空測量のベテランは皆、斜め写真に最適な天候は、雲のない晴れた日か、十分な明るさの曇りの日であることを知っています。これらの 2 つの天候では、太陽の光の変化が最小限であり、特に曇りの日には太陽の光が少なくなります。結果として生じる影と適切な雲は、十分な光の強度を確保するだけでなく、地面上のすべての方向の光の強度と光の方向が基本的に同じであることを保証する巨大な均一な光マスクのように機能します。この種のモデルが最も効果的ですが、このような天候ではそれはまれです。
▲曇りモデルの効果は均一
02
建物オブジェクト自体の模様（または反射）
現代の建物にはガラスが多用されており、ガラスの反射により隣接する建物の表面に斑点が生じますが、この斑点は基本的に解決策がありません。ただし、この種のパターンには利点があり、反射パターンは表面にテクスチャを追加するのと同等であり、同じ名前のより多くの点と一致し、抜け穴を回避できます。
▲建物表面のまだら模様（この写真は模型ではなく航空写真です）
03
測光により同じテクスチャでも明るさが一定しない
飛行中、光の強さは変化しなくても、地上の物体の質感が変化するとカメラの測光機能も変化します。同じ露出パラメータでも、同じテクスチャ サーフェスが明るくなったり暗くなったりします。テクスチャの変化が劇的であればあるほど、明暗の変化がより明確になります。特に都市部では、建物の表面にまだらなテクスチャ（模様）が形成され、モデルの外観や質感に影響を与えます。
Ruibo が今日共有するテクノロジーは、この状況を解決するものです。
▲同じレンズで連続撮影した写真では、建物ファサードの明るさが一定ではありません。
露出の原理
航空写真の露出の原理
現在、より一般的なアルゴリズムには、平均輝度法、加重平均法、輝度ヒストグラムなどが含まれます。最も一般的なのは平均輝度法です。平均輝度法では、画像内のすべてのピクセルの輝度を平均し、最終的な目標輝度を達成するために露出パラメータを継続的に調整します。加重平均法では、画像のさまざまな領域に異なる重みを設定して画像の明るさを計算します。たとえば、カメラでさまざまな測光モードを選択すると、さまざまな領域の重みが変わります。輝度ヒストグラム法では、ヒストグラムのピークに異なる重みを割り当てることで画像の明るさを計算します。航空測量操作を露出するには、自動露出と固定露出の 2 つの方法があります。
固定露出: 固定露出とは、すべてのパラメータが事前に設定され固定されていることを意味します。その利点は、モデルにまだらを引き起こす不均一な露出がないことです。ただし、要件は、外光が大きく変化しないことです。そうしないと、モデルが暗くなります。固定露出モデルは、屋内シーンなどの安定した光があるシーンに適しています。
自動露出: 太陽光の強さは 1 日を通して変化します。オブジェクトの質感が大きく変化する場合、写真の明るさを調整するために自動露出モードが必要になりますが、前に示したように、自動露出は外部光源の変化の問題をいくつか解決できますが、質感が変化するシーンを解決することはできません。
Ruibo は両方の方法を試しました
固定露出原理
固定露出原理
Ruibo の初期の研究開発チームは、固定露出スキームの採用を希望しており、まず露出パラメータをプリセットし、次にカメラの上に日射強度センサーまたは超広角高フレーム レート カメラを追加します。強度の変化とカメラのヒストグラム パラメータを組み合わせることで、カメラのプリセット露出パラメータが補正されます。
このようにして、太陽や地上の物体がどのように変化しても、最適な露出パラメータが保証され、露出パラメータの変化によって生じるまだらな光と影は完全に解決されます。
しかし、アイデアは非常に豊かですが、現実は非常に貧弱です。
最大の問題はドローンの姿勢であり、日射強度センサーをどのように配置したり、コサイン補正器を使用したりしても、ドローンの姿勢による測光パラメータの変化は避けられないことが分かりました。
▲ドローンの姿勢変化により測光値が変化
唯一の解決策はジンバルを取り付けることですが、これによりさらに遠くへ行けるようになります。将来的には、重量に敏感ではない DG10 に対してこの技術的解決策が検討されるかもしれません。
▲トップマウント測光と安定したジンバル
▲雲が光の変化に与える影響
カルマンスムーズ露光に基づく露光プロセス
中
、露光プロセスは動的プロセスです。露光パラメータの主な変化は「空からの光」と「地下の物体」です。「空からの光」は光の変化であり、太陽が雲に入るときの影が発生するため、それに応じて露出パラメータを調整する必要があります。「地中オブジェクト」は地上オブジェクトのテクスチャの変化です。
「空の光」の変化は５つのレンズの露出パラメータが同期して変化するのが特徴であるが、「地下物体」の変化は５つのレンズの露出パラメータが同期していないのが特徴である。
したがって、露出平滑化を行う前に、単純な解釈のみが必要であり、5 つのレンズの露出パラメータが比較的同期して変化する場合、この時点で露出調整を直接行うことができます。 、この時点で露出を直接調整することはできません。そうしないと、モデルにシミが発生しやすくなります。
「地下の物体」の変化については、カメラは露光プロセス中に局所的な光と影の変化をノイズとして扱うことができます。ノイズは一種の干渉であり、不確実な動的システムに属します。カルマン フィルタリングにより、システムが次に何を行うかを決定できます。知識に基づいた推測。たとえノイズの多い情報による干渉があったとしても、カルマン フィルタリングは通常、何が起こっているのかを非常によく把握し、現象間の微妙な相関関係を見つけることができます。
光と影の変化傾向を観察し、その変化量をノイズ信号として画質に影響を与える干渉要因を推測し、次の瞬間の状態値を予測し、その誤差を比較することで予測値を調整します。実際の値と予測値の間で調整し、最終的により正確な露出信号を取得して滑らかな遷移を実現します。
カルマン フィルターは、状態空間モデルに基づく最適化アルゴリズムであり、システム状態の分散を最小限に抑えることで状態推定の精度を向上させます。カメラの露光プロセス中、データ収集プロセスを線形動的システムとみなすことができ、その状態空間モデルは次のように表現できます。
x(k) = A x(k-1) + B u(k) + w(k)
y(k) = C*x(k) + v(k)
このうち、x(k) は時刻 k におけるシステムの状態ベクトル、A はシステム状態遷移行列、B はシステム入力行列、u(k) は入力信号、w(k) はシステムプロセスを表しますノイズ、y(k) は時間 k におけるシステムの観測ベクトルを表します。C は観測行列、v(k) はシステム観測ノイズです。
カルマン フィルタリングの基本的なプロセスは次のとおりです。
予測ステップ: 事前情報に基づいて次の状態の値と分散を予測します。
x(k|k-1) = A x(k-1|k-1) + B u(k)
P(k|k-1) = A*P(k-1|k-1)*A' + Q
このうち、x(k|k-1)はx(k)の予測値を表し、P(k|k-1)はx(k)の予測値の共分散行列を表し、Qはx(k)の予測値の共分散行列を表す。システムプロセスノイズです。
更新ステップ: 観測値と予測値に基づいて更新し、最適な状態値と分散を計算します。
K(k) = P(k|k-1) C' (C*P(k|k-1)*C' + R)^(-1)
x(k|k) = x(k|k-1) + K(k) (y(k) - C x(k|k-1))
P(k|k) = (I - K(k)*C)*P(k|k-1)
このうち、K(k) はカルマン ゲイン、x(k|k) は x(k) の最適推定値、P(k|k) は x(k) の最適推定値の共分散行列を表します。は、システム観測ノイズの共分散行列です。このシステムでは、各パラメータを分析して最適化し、フィルタリング効果をより正確にし、期待した結果を達成するためにフィルタパラメータを調整する適応的な方法を設計しました。
平たく言えば、カルマン フィルター アルゴリズムは「占い師」に相当します。過去の露出値を使用して次の露出値を予測し、滑らかな露出を実現し、スペックルを可能な限り軽減します。
POSESCRIPT追記 上記のグローバルスムーズ露光の詳細. その主な利点は、斜め撮影プロセス中のテクスチャ変更による露光パラメータの変化によって引き起こされるモデルスポットを回避し、モデルの効果を向上させることです; この露光方法は異なり
ます
従来の写真露出とは異なり、地面のテクスチャの変化にタイムリーに対応し、単一の画像の正しい露出を追求するのではなく、代わりに一連の画像を全体として分析し、局所的なテクスチャの変化をノイズとして扱い、正しい露出を実現します。画像全体を露出し、日光が当たる部分は明るくする必要がありますが、一部の暗い場所や影の場所は暗くする必要があり、これにより、モデルの全体的な外観と雰囲気が一貫したものになります。
▲通常動作モード
▲スムーズな作業モード
出典：成都ルイボテクノロジー
- 終わり -