画像マッチングによる非常口障害物検知
技術的背景
非常口とは、さまざまな危険が発生したときに、消防士が閉じ込められた人々を救出し、避難させるために使用される通路を指します。消防法は、いかなる部隊または個人も非常階段を占拠したり、遮断したり、封鎖してはならないと規定しています。実際、非常階段の管理が不十分なために、非常階段内にさまざまなゴミ、物体、車両などが出現し、非常階段が閉塞され、危険が発生した場合には、人の生命や財産に多大な被害を及ぼすことになります。したがって、非常階段内の障害物を検出することが特に重要です。
従来の非常階段の障害物検知は、主に手動による安全検査に頼っていました。専門のスタッフが定期的に特定の非常階段に行き、非常階段が塞がれているかどうかを確認します。この方法はシンプルで実装が簡単で、複雑な機器を必要としませんが、欠点があります。この方法の特徴は、非常階段が塞がれているかどうかをタイムリーに検出できるかどうかは、手動による点検サイクルに大きく影響されること、第 2 に、非常に主観的であるスタッフの専門的な品質と勤務態度に大きく依存することです。
非常階段障害物検出は、画像処理とインテリジェントセキュリティの分野に属します。
火災通路の障害物を除去する際に、固定カメラを使用して背景シーン画像とリアルタイム監視シーン画像を取得し、背景シーン画像をマッチングテンプレート画像として使用します。指定エリア内の現場映像を確認し、指定エリア内に障害物があるかどうかを判断し、警察に通報します。下の図に示すように、赤いボックス内に蓄積がないはずです。そうなったら警察に電話してください
このシステムは、防火通路内の指定された監視エリアのリアルタイムのシーン画像を一定の間隔で収集し、照合を実行します。これにより、システムがリアルタイムで障害物を検出して警報するだけでなく、タイムリーに通路の円滑性を確保することができます。だけでなく、システムのオーバーヘッドも削減されます。さらに、注目の画像に基づいて火災通路の障害物検出にマッチングが使用され、通路の閉塞をより正確かつ効果的に判断できます。
全体的なフローチャート:
上記のプロセスを実現するには、いくつかの重要なステップを実行する必要があります:
ステップ 1、検出する必要があるチャネルにカメラを設置し、カメラを通じてチャネル シーンの画像を収集します;
ステップ 2、展開プロセス中にカメラ検出チャンネルシステム、背景テンプレート画像を保存して背景テンプレート画像セットを形成し、チャンネルのキー検出領域を設定します; ステップ3、背景
テンプレート画像セットと一致する画像に対してノイズ低減前処理を実行します
ステップ４：各背景テンプレート画像セット内の背景テンプレート画像と照合対象画像との一致度を計算する
ステップ５：照合対象画像と背景テンプレート画像セットとの一致度を計算する。設定された背景テンプレート画像の一致度と閾値との間で、照合対象画像内に障害物があるか否かを判定し、障害物が存在する場合には警報を発する。
単一の背景テンプレート画像と照合対象画像との照合には、主に以下の処理が含まれます。
まず、背景テンプレート画像と照合する画像の指定された領域で特徴点を抽出する必要があります。非常階段シーンでの光の問題を考慮し、光の変化にある程度耐性のあるハリスコーナー点を特徴点として使用します。このタイプの特徴点は、グレースケール画像の 2 次微分値から計算され、通常はピクセルの近傍に存在します。ドメイン内には複数の方向にグレースケールが変化するピクセルが存在するため、画像内のグレースケール値の変化の範囲を適切に表すことができますが、画像のグレースケール値に対する照明の変化の影響は通常、非常に小さいです。したがって、ハリスのコーナーポイントは照明に対してある程度の安定性を持っています。
画像内のピクセル x の近傍とは、x を中心とするいくつかの隣接するピクセルから構成されるピクセルの集合を指します。Ｓ２で取得した指定領域の境界点列ＰＳｅｑに基づいて、背景テンプレート画像と照合対象画像とにマスク領域（境界点で囲まれた領域）を生成する。コーナー点セットBackCornerSet(背景コーナー点セット)およびTestCornerSet(テストコーナー点セット)は、それぞれ背景テンプレート画像およびマッチング対象画像のマスク領域から抽出される。BackCornerSet には Nb 個のコーナー ポイントがあり、TestCornerSet には Nt 個のコーナー ポイントがあります。コーナー点の数は画像の内容によって大きく変化しますので、仮にNbとNtで表します。コーナー ポイント セットには各コーナー ポイントの座標が含まれており、画像内で各コーナー ポイントを配置するために使用されます。
次に、特徴記述子を背景テンプレート画像と照合する画像内の各コーナーポイントから抽出する必要があります。いわゆる特徴記述子は、各特徴点が位置するピクセルの特性を記述する属性を指します。各ピクセルの最も基本的な属性はグレー値ですが、グレー値を特徴記述子として使用すると単純すぎるだけでなく、ピクセルと隣接するピクセルとの関係が無視され、特徴の属性を効果的に表現できなくなります。 。通常、特徴点が位置するピクセルの近傍の特徴が特徴記述子として使用されます。本発明は、特徴点が位置するピクセルを中心とする１５×１５の近傍を使用し、これにより特徴点および隣接するピクセルをより大きな影響で十分にカバーすることができる。特徴点の特徴量として近傍の画素に対して一次勾配からなるベクトルを計算するが、一次勾配により照明の影響を弱めることができ、照明に対しても一定の安定性を持たせることができる。デプロイメントプロセスが完了すると、画像マッチングシーンが固定されるため、通常、指定された領域の背景には明らかな回転やスケールの変化が見られないため、特徴記述子としての一次勾配は基本的に要件を満たすことができます。その目的は、コーナー点セット BackCornerSet および TestCornerSet 内の各コーナー点の座標に従って、背景テンプレート画像と照合対象の画像の各コーナー点を特定し、それに基づいて背景テンプレート画像と照合対象の画像を計算することです。特徴記述子セット BackDescriptorSet (背景特徴記述子セット) および TestDescriptorSet (テスト特徴記述子セット)。
次に、背景テンプレート画像と、照合対象の画像から抽出された特徴記述子セットとが照合されます。マッチングプロセス中、本発明はユークリッド距離を使用して２つの特徴記述子の類似性を計算する。BackCornerSet の場合、A が BackCornerSet の任意のコーナー ポイント、B が TestCornerSet の任意のコーナー ポイントであると仮定して、A から B1、B2、...、BNt までの各コーナー ポイントに対応する特徴記述子の類似性を計算し、1 つを選択します。類似度が最も高いコーナー ポイント Bj (j の可能な値は 1 から Nt までの任意の整数) の場合、A コーナー ポイントから Bj コーナー ポイントまでが一方向に照合され、B から Bj までの各コーナー ポイントに対応する特徴記述子が計算されます。 A1、A2、...、ANb 類似度、最も類似性の高いコーナー ポイント Aj を選択します (j の値は 1 から Nb までの任意の整数です)。コーナー ポイント B からコーナー ポイント Aj までが 1 回で一致します。方向。コーナー ポイント A とコーナー ポイント B が一方向に一致し、コーナー ポイント B とコーナー ポイント A も一方向に一致する場合に限り、コーナー ポイント A とコーナー ポイント B が一致すると、コーナー ポイント A とコーナー ポイント B は一致します。BackCornerSet と TestCornerSet のコーナー ポイントを一致させた後、成功した Q 個の一致を含む一致セット MatchPairs が取得されます。
最後に、一致するペアを修正する必要があります。成功したマッチング セット MatchPairs では、同じコーナー ポイントが複数のコーナー ポイントに同時に一致する状況が発生する可能性があり、不一致のフォーカス ペアも存在する可能性があるため、MatchPairs を修正する必要があります。取得した画像内の指定領域の背景内容は、カメラを固定した場合には大きく変化しないため、背景テンプレート画像内で検出されたコーナー点は、照合対象画像内の対応するコーナー点と一致すると考えられます。点間の距離は小さくする必要があります。この原理に基づいて、MatchPairs の各一致ペアの 2 つのコーナー点の相対変位が計算され、変位偏差がしきい値 Δs より大きい場合、一致ペアは不一致ペアとみなされます。Δs のしきい値は 5 ピクセルに設定できます (手ぶれによる画像コンテンツのシフトなどの物理環境の変化に適応するため)。
MatchPairs の不一致ペアを削除して、MatchPairs の修正を完了します。変更された MatchPairs には、Q* の一致するペアが含まれています。
深層学習による障害物検知の研究
YOLO はエンドツーエンドの画像検出フレームワークです。その中心的なプロセスは、画像全体をネットワークの入力として使用することです。出力層でオブジェクトの検出境界ボックスを直接取得し、検出されたカテゴリにラベルを付けることができます。YOLO は従来のスライディング ウィンドウの代わりにグリッドを使用します。まず、画像が S * S グリッドに分割されます。各グリッドは、中心点がこのグリッドに含まれるオブジェクトを予測する必要があります。各グリッドは B を予測する必要があります。各境界ボックスは位置情報を返します。それぞれ座標情報とサイズ情報を表す x、y、w、h を含み、信頼値 (confidencescore) も出力します。
効果は次の図に示されています:
深度ベースの検出は、opencv よりも効率的かつ正確です。ただし、深層セキュリティ チャネル検出の欠点の 1 つは、チャネル内にどのような障害物が配置されるかを事前に明確にしておく必要があることです。これは簡単です。これは、実際の生産プロセス中に新しい障害を認識するためにモデルを継続的にトレーニングする必要があることを意味します。もちろん、これはお客様自身のビジネス シナリオにも依存します。障害物が固定されている場合は、深度検出が間違いなく最良の選択です。