オールインワン_悪天候_削除_使用_建築_検索
この論文は CVPR2020 で発表されたもので、さまざまな悪天候に対処でき、雨、雪、霧の除去操作を同時に実行できるノイズ除去モデルを提案しています。しかし、コードのその部分はオープンソースではないようです。現在のモデルは一種類の荒天にしか対応できず、複雑な様々な荒天には適用できない、現在のノイズ除去データセットはすべて人工的に作成されたものであり、実際のデータとは異なる、という
問題点があった。
イノベーション 1: オールインワンのノイズ除去モデル
この手法の全体構造は次の図に示されており、対立ニューラル ネットワーク モデルに基づいて設計されており、生成器 (Generator) と識別器 (Discriminator) が含まれます。1種類の荒天ノイズにしか対応できなかった従来とは異なり、本論文では、雨除去、除雪、霧除去の作業を同時に完了できるオールインワンのノイズ除去モデルを提案します。
ジェネレータには主に 3 つの特徴抽出モジュール(Feature Search) と（雨雪雾 FE，Feature Exactor)Decoder (デコーダ) が含まれており、Discriminator は生成された画像が真であるかどうかを判断し、結果をジェネレータに返し、損失を計算し、逆伝播を渡します。ジェネレーター内のパラメーターを更新します。特征选择模块解码器模块
このジェネレーターは、特定の悪天候の種類にそれぞれ関連付けられた複数のタスクを持つエンコーダーで構成されており、ニューラル アーキテクチャ検索を使用して、各エンコーダーから抽出された画像の特徴を最適化し、これらの特徴をきれいな画像に変換します。つまり、雨、雪、霧を含む画像をジェネレータに入力し、ジェネレータ内のエンコーダ（FE）で特徴抽出を行い、抽出した特徴をニューラルアーキテクチャ検索で最適化し、良好な特徴情報を選択して抽出するという考え方です。抽出された特徴情報はデコーダに送信され、きれいな画像が生成されます。つまり、ノイズ除去プロセスが完了します。
発電機モジュール
複数のエンコーダを使用して、さまざまな悪天候画像のきれいな特徴を抽出して復元し、きれいな画像を生成します。
革新ポイント2: 特徴検索モジュール
ニューラル アーキテクチャ クエリは、実際にはクリーンな特徴を見つけ、クリーンな特徴をクリーンな画像に変換します。
FeatureSearch モジュールには従来の畳み込み演算に加えて、残留接続、セルフ アテンション メカニズムなどが存在することがわかります。
従来の曇り除去およびかすみ除去モデルは次のように定義されます。
これは、1x1 畳み込みによって M を抽出して学習し、M を推定する、とも表現できます。実現された演算は 4.1 に示されています。
革新ポイント3: マルチクラス補助識別器
生成対立ネットワーク (GNN) に基づく識別器は、復元された画像の効果を判断する (つまり、生成された画像の信頼性を判断する) ように訓練されていますが、エラー信号は提供されません。 1 つのモデルでは、真と偽を知るだけでは十分ではありません。エンコーダがさまざまなタイプに応じてパラメータを更新できるように、生成された画像のタイプを知る必要があります。そのため、分類するためにマルチクラス補助識別器が提案されています。バックプロパゲーションの判別式が失われたときに、対応する判別器のパラメーターのみが更新されるように、画像を復元します。
具体的なアイデア
ヘイズ画像モデリング
このうち、I(x)は霧画像、より具体的には、I(x)は位置xにおける雨画像、J(x)は観測対象の反射光、すなわち曇り除去後の画像、Aは大気光係数、t(x) は大気透過率、t(x)= e^-βd(x)、ここで d(x) はシーン深度マップ、β は大気光散乱係数です。式(1)から、t(x)とAを求めるだけで霧画像I(x)から霧なし画像J(x)を復元できることが明らかです。
雨の画像と霧の画像の物理モデルは非常に似ているため、次のように定義できます。
このうち、Ri は i 層目の雨線を表します。
雨の画像モデリング
ここで、I(x) はカラー雨滴イメージ、M(x) はバイナリ イメージ マスクです。J(x) は背景画像、つまりきれいな画像、K は画像によってもたらされた付着した雨滴であり、ぼやけた画像が光の反射を形成する環境を表します。
スノーフレーク画像モデリング
ここで、S は雪の結晶を表し、z は雪の位置を表すバイナリ マスクです。
上記の物理モデル式によると、さまざまな荒天ノイズ画像の定義が異なります。そのため、元のモデルは一種の荒天ノイズに対処するためのモデルですが、式によれば、その内部構造もわかります。悪天候ノイズ画像モデルは次のように定義されます。
