この論文では、霧の多い環境での運転の問題に対する解決策を提案します。
この方法は、中程度の不利な条件 (薄い霧) でのセマンティック セグメンテーションの結果をブートストラップして、高い不利な条件 (濃い霧) で同じ問題を解決できるという事実に基づいています。CMAda は、他の悪条件にも拡張可能であり、合成データとラベルのない実際のデータの両方を使用して学習するための新しいパラダイムを提供します。
さらに、このホワイトペーパーは、次の 3 つの主要な独立した貢献を行っています。
1) セマンティック入力を使用して、実際の晴天シーンに合成霧を追加する新しいアプローチ。
2) 新しい霧密度推定器;
3) 実際の霧のシーンで霧を濃くする新しい霧濃密化方法が提案されていますが、霧の深さは不確実です。
この論文は主に 2 つの部分に分かれています. 最初の部分は霧の天気をシミュレートし, 霧のシーンの写真を合成することです. 2 番目の部分は, 教師あり学習法を使用して濃い霧の下でセマンティック セグメンテーションを実行することです. ここにあるデータの一部は合成霧の天気です.データの一部は実際の霧の気象データです。
最初の部分は、実際のシーンでフォグ シミュレーションを実行します。
この部分には、深い外れ値の検出、RANSAC を使用した SLIC スーパーピクセル レベルでのロバストな深度平面フィッティング、ガイド付き画像フィルタリングを使用した完成した深度マップの後処理の 3 つのステップがあります。
色とセマンティクスのための双方向参照インターリーブ バイラテラル フィルター
まず、合成する画像を加工しますが、ここではRGBではなく、CIELABカラーモードを使用します。
SLIC アルゴリズムの概要は次のとおりです。
SLIC は、色と空間の 2 つの視点から画像を分析する単純な線形反復クラスタリングです。
p と q は両方ともピクセル位置、Gs 空間ガウス カーネル、Gc カラー ガウス カーネル、t^() は射影関数、J は CIELAB モード関数、h(): ピクセルをセマンティック ラベルにマッピングします。
h(q) は、ピクセルq のみがチェックされたピクセルと同じセマンティック ラベルを持つことを意味し、セマンティック エッジのぼやけを防ぐことができます。同時に、J() は真の深度エッジをより適切に保持するのに役立ちます。セマンティックタグが異なる場合、ピクセルはカラードメインに保存され、フィルタリングはカラードメインフィルターによって実現されます。
バイラテラル フィルタは、セマンティクスに対応するグリッドとカラー ドメインに対応するグリッドの 2 つの独立したグリッドで構成され、各グリッドで個別にフィルタリングが実行され、最終的に結果が結合されてバイラテラル フィルタが形成されます。
光学モデルに基づく霧環境のシミュレーション
フォグの密度は、減衰係数 β によって制御されます。
フォグ シミュレーションを実行する場合、元の晴天シーンの画像 R、大気光 L、完全な透過率マップ t を入力する必要があります。推奨パラメータを使用して、ノイズの多い不完全な入力視差マップ D から初期の完全な透過率マップ t^ を取得するために、大気光の推定、深度ノイズ除去、および補完を実行します。デュアル リファレンス クロスバイラテラル フィルターを使用して t をフィルター処理し、最終的な透過率マップ t を計算します。これは、霧の画像 I in を合成するために使用されます。
(大気光の推定と深度のノイズ除去については、この記事を参照してください。合成データによるセマンティック フォギー シーンの理解)
パート II 濃霧のあるシーンのセマンティック セグメンテーション
CMAda は合成フォグ データと実際のフォグ データの両方を利用してセマンティック セグメンテーション モデルを密なフォグに共同で適応させるため、より複雑なフレームワークを構成しますが、[15] の適応方法は適応に実際のデータのみを使用します。さらに、霧密度推定による正しいターゲット霧ドメインへの実際の霧画像の割り当ては、CMAda のもう 1 つの重要で重要なコンポーネントであり、これらの実際の画像をこの方法でトレーニング データとして使用するための前提条件です。
霧の密度の推定
まず、SLIC スーパーピクセルを深度平面フィッティング ステップのセマンティック アノテーションによって生成されたスーパーピクセルに置き換えることは実行不可能です。これは、非常に大きなスーパーピクセルが生成され、スーパーピクセルの平面性の仮定が完全に破られるためです。
次に、ロバストなデプス プレーン フィッティング ステップを完全に省略し、外れ値検出ステップによって出力された不完全なデプス マップに二重参照クロスバイラテラル フィルターを直接適用します。ただし、この方法は、前の手順で検出されなかった外れ値に非常に敏感です。対照的に、これらの残りの外れ値は、ランサックベースの深度平面フィッティングによってうまく処理されました
x 晴天の画像 x' 薄霧の合成画像 x'' 濃い霧の合成画像 y は注釈
トレーニング データには次のものが含まれます。
Misty 合成画像とラベル
濃い霧の合成画像とタグ
注釈なしのライト フォグの実像
主な目的は、マッピング関数を学習し
、実際の濃い霧の写真に基づいてこのマッピング関数の精度を評価することです
実際の霧の画像には注釈がないため、
まずこのマッピング関数を学習し、霧の合成画像と注釈を学習してから、ラベルを取得する必要があります。
ここで、L は交差エントロピー損失関数です。
これは、2 つのデータセットの重み定数のバランスを取るためのものです。
min 関数を使用して 2 つのデータ セットを混合した後、標準の教師あり学習のためにそれらを CNN に入れます。
CMAda法では、かぶり濃度の違いにより最適解の探索が困難になるという欠点があるため、標準的な光学関数で実際のかぶり濃度を推定しています。
最後に、このような光学方程式が得られ、R の実像と鮮明な像の影響を回避できることがわかります。
ここで、霧の密度は次のように定義されます。
次に、実際のデータの式は次のようになります
この論文の主要部分はここまでで、残りは彼の実験結果です
元の方法と比較すると、この効果はまだある程度改善されています。