論文「視覚的顕著性と局所エントロピーの融合による赤外線微小ターゲット検出」の再掲載

1. 複製用紙の概要

転載論文は「Infrared Weak Small Target Detection by Fusion of Visual Saliency and Local Entropy」（Zhao Pengpeng、Li Shuzhong、他、China Optics 2022、http://www.chineseoptics.net.cn/cn/article/doi）です。 /10.37188 / CO.2021-0170、以下論文という）。高い誤報率と赤外線画像における弱くて小さいターゲット検出のリアルタイム性能が低いという問題を目指して,本論文では視覚的顕著性と局所エントロピーに基づく小型赤外線ターゲット検出方法を提案する。この方法では、まず融合局所エントロピー法を用いてターゲットを含む関心領域を抽出し、小型赤外線ターゲットの大まかな位置決めを実現します。次に、改良された視覚的顕著性検出方法を使用して、関心領域内の局所的なコントラストを計算し、関心領域の顕著性マップを取得します。最後に,閾値法を使用して顕著な画像をセグメント化し,小型の赤外線ターゲットを抽出し,小型の赤外線ターゲットの検出を実現した。

論文は 5 つの部分に分かれています。

(1)はじめに: この論文では、赤外線の薄暗く小さなターゲットの低い信号対雑音比と低輝度の特性、およびその検出における技術的困難性を紹介し、赤外線の薄暗く小さなターゲットの従来の検出方法を紹介します。ローカルコントラスト法 (LCM) など。

(2) LCMの原理: 局所コントラストの計算方法を詳しく説明します。

(3)弱くて小さいターゲットに対する顕著性検出方法の改善：LCM の計算により、弱くて小さいターゲットが強調される一方で、画像のピクセルスケールの明るいノイズも強調され、ターゲット検出の誤警報率が増加します。 LCM に基づく手法弱く小さなターゲットの顕著性検出手法をアルゴリズムに基づいて改良し、その原理を画像前処理、顕著性マップ計算、ターゲット検出の 3 つの側面から詳細に説明します。

(4)視覚的顕著性と局所エントロピーを組み合わせた赤外線弱小物体検出：画像全範囲で物体を探索するスライディングウィンドウ法では、画像全体でマルチスケールの局所コントラスト計算を行うため、多大な時間がかかるリアルタイム性能の問題を解決するために、この論文では、視覚的顕著性と局所エントロピーを統合する、つまり、まず局所エントロピーを使用して、大まかに位置を特定する、小さな赤外線標的の検出方法を提案します。顕著性検出方法は、関心領域内の弱い小さなターゲットを検出することで、検出速度を高速化します。このパートでは主に、局所エントロピーに基づく小型赤外線ターゲットの大まかな位置特定と全体的なアルゴリズムフローについて詳しく説明します。

(5)実験と結果の分析: この部分では、最初に紙アルゴリズムを 4 つの異なる赤外線の弱い小さなターゲット画像でテストし、紙アルゴリズムの有効性を証明し、次に TOPHAT 検出アルゴリズムおよび LCM ベースの検出と比較します。この論文で提案されたアルゴリズムの誤警報率とリアルタイム性能は、これらの従来の赤外線微弱目標検出アルゴリズムよりも優れていることを証明するアルゴリズムです。

対応コード取得：https://download.csdn.net/download/anbuqi/88167884

2. 再現手順の説明

2.1 記事の内容を理解する

まず抄録を読み、論文で解決すべき問題点、その解決方法、最終的な効果を理解し、キーワードから論文に関わる技術的なポイントを抽出します。次に全文を読んで、各章の基本原理と方法プロセスを説明している部分を丸で囲み、それらを直列に接続して、記事全体の技術的文脈とアルゴリズムの枠組みを取得します。

整理された技術的背景とアルゴリズムのフレームワークに従って、フレームワークの各部分の実現原理を整理し、関連する式の番号と変数の定義を統合して、その部分の数学的原理の完全な記述を形成します。式の依存関係における変数の定義を理解します。たとえば、セクション 3 の改良された弱いターゲット顕著性検出方法では、統合された数学的原理が次のように説明されています。

STEP1 画像の前処理は、変数 W とを含む論文の式 (4) と (5) によって完了します $グレー(su{b_{p,q}})$ 。
STEP2 顕著性マップの計算は式 (6) と (7) によって完了します。関係する変数 M は、STEP 1 では実際には W であり、変数は STEP 1 の $グレー(su{b_{p,q}})$ 式 (4) によって定義されます。
STEP3の物標検出は式(8)により完了し、STEP2では式(7)と変数M(W)を組み合わせて顕著性マップSWを算出する。

2.2 必要なデータを収集する

通常、使用されるデータセットは論文には記載されていないため、アルゴリズムをテストするには類似のデータセットを見つけることしかできません。2.1の分析により、論文に必要なデータは小型の赤外線ターゲットを含む画像であると判明したため、Baiduで「赤外線データセット」というキーワードを検索したところ、以下の結果が得られました。

…。

いくつかのデータセットを取得した後、使用されているデータセットが記事内のデータセットと基本的に類似していることを確認するためにスクリーニングする必要があります。審査の結果、最終的に、フクロウの赤外線画像をデータセットとして含むOTCBVS データセット 01: OSU サーマル歩行者データベース 0002を使用することが決定されました。そのうちの 1 つを以下に示します。

上の図に示すように、選択された微弱赤外線ターゲットは、草の上から木のてっぺんまで飛んでいるフクロウであり、論文で設定されたデータのターゲット特性、つまり信号対雑音比に非常に近いです。低い、明るさが弱く、グレー値が一定ではありません。最高ですが、通常は局所的な背景よりもある程度高く、サイズが小さく、エネルギーが弱く、効果的な形状とテクスチャの特徴が欠如しています。

2.3 アルゴリズムを実装して結果を分析する

2.1 と 2.2 に基づいて、Python プログラミングを使用して論文のアルゴリズムを実装し、選択したデータセットでテストします。その後、論文の結果と比較し、論文のアルゴリズムの長所と短所を要約し、どこでそれが可能かを見つけます。改善されました。

3. アルゴリズム原理の説明

3.1 弱い物体や小さい物体の顕著性検出方法の改善

(1 ) STEP1 :画像の前処理

画像前処理の目的は、ターゲット検出に対するピクセルスケールの輝度ノイズの影響を抑制し、ターゲット検出の速度を向上させることです。まず、 $9 \×9$ 特定のステップサイズに従って元の画像内を左から右および上から下にスライドするよりも小さいウィンドウを使用して、一連のサブ画像ブロックを取得し、その全体のグレーレベルを次の平均値に設定します $す{b_{p,q}}$ 。内部ピクセル、つまり

式（３．１）において $\left( {i,j} \right)$ 、は $す{b_{p,q}}$ サブ画像ブロック内の画素を表し、は $m \times n$ サブ画像ブロックのサイズを表し、は $グレー(i,j)$ 画素の階調値を表す $(i,j)$ 。次に、一連のサブ画像ブロックが元の順序に従って新しい行列に再結合され $W$ 、その内部要素は次のように定義されます。

ウィンドウサイズと移動ステップを適切に設定すると、 $W$ 画像の要素数は元の赤外線画像のピクセル数よりもはるかに少なくなり、 $W$ 元の画像を置き換えることによるターゲット検出の速度も向上します。

(2 ) STEP2 : 顕著マップ計算

元の画像にスライディングウィンドウが設定され、スライディングウィンドウの中心は前処理によって得られたサブ画像ブロックであり、 $す{b_{p,q}}$ スライディングウィンドウによってインターセプトされた画像は 9 つのサブ画像ブロック、つまりサイズに分割されます。引き違い窓の仕様はございます $9 \times m \times n$ 。サブ画像ブロックには「0」の番号が付けられ、その他の番号は「1」〜「8」になります。 $す{b_{p,q}}$ サブ画像ブロックのグレー平均値は STEP1 で計算されているため、「1」〜「8」のグレー平均値は次のようになります。「8」は別途計算方法と式(3.1)は一致。

$grey(h)\begin{array}{*{20}{c}} {}&{h = \left\{ {1,2,....,8} \right\}} \end{array}$ サブ画像ブロック「1」〜「8」のグレー平均値を表すと、スライディングウィンドウ内のコントラストは次のようになり $す{b_{p,q}}$ ます。

式（３．３）は、 ${L_n}$ サブ画像ブロック $す{b_{p,q}}$ 内の最大グレー値である。式(3.3)に従って計算し、前処理などで ${C_n}$ 得られた行列の対応する要素を置き換え、置き換えが完了すると、元の画像の顕著性マップになります。 $W$ $す{b_{p,q}}$ $サウスウェールズ州$

(3 ) STEP3 : ターゲット検出

計算された顕著性画像に従って $サウスウェールズ州$ 、閾値法を使用して適応閾値分割を実行し、二値化された顕著性画像を取得できます $BSW$ 。分割閾値の計算方法は次のとおりです。

式 (3.4) の ${u_{SW}}$ 、、は ${\シグマ _{SW}}$ それぞれ顕著性マップの平均値と標準偏差です(論文中の分散ですが、 $k$ 値の範囲と実験結果を組み合わせたものは論文中の誤記であるはずです)。 $k$ は経験的な係数であり、通常はとして取られます $10 < k < 15$ 。

3.2 局所エントロピーに基づくターゲットの大まかな位置決め

3.1 では、スライディングウィンドウ法を使用して画像範囲全体のマルチスケールの局所コントラストを計算すると、多くの時間がかかり、赤外線の微小なターゲット検出のリアルタイム性能に影響を与えるため、本論文では検出方法を提案します。視覚的な顕著性とローカルエントロピーを組み合わせたものです。つまり、最初にローカルエントロピーを使用してターゲットエリアを大まかに特定し、ターゲットを含む関心領域を取得します。次に、3.1 の改良された顕著性検出方法を使用して、弱くて小さいターゲットを検出します。関心領域内での検出が可能になり、検出速度が向上します。ローカルエントロピーを使用して関心領域を抽出するプロセスは、次の 3 つのステップに分割できます。

(1)サイズの $M \times N$ 画像をサイズの局所領域 $f$ に分割します。 $私$ $m \times n$ $\左\{ { {s_i}} \右\}$ $i = \left\{ {1,2,......,l} \right\}$ $l = \left( {M \times N} \right)/(m \times n)$

(2) 各局所領域について、局所エントロピー値を個別に計算し、 ${こんにちは}$ すべての局所領域における局所エントロピー値の最大値 ${H_{\最大 }}$ と最小値を検索します ${H_{\分 }}$ 。

(3)セグメンテーション閾値に従って、設定された局所エントロピー値が閾値よりも小さい局所領域 ${H_{\最大 }}$ が関心領域であり、ここでは次のように定義されます。 ${H_{\分 }}$ $Th1$ ${こんにちは}$ $Th1$ $Th1$

3.3 視覚的顕著性と局所エントロピーの融合による赤外線微小ターゲット検出

3.1 と 3.2 を組み合わせると、視覚的顕著性と局所エントロピーを組み合わせた最終的な赤外線微弱ターゲット検出プロセスが次の図のように得られます。

4. アルゴリズム実装プロセス

3 のアルゴリズム原理によれば、アルゴリズムプログラムは 2 つの部分、つまり、局所エントロピーに基づく大まかなターゲット位置特定と、弱くて小さいターゲットの改善された顕著性検出に分割できます。

4.1 局所エントロピーに基づくターゲットの大まかな位置決め

選択された画像ブロックサイズはであり $80 \× 80$ 、ローカルエントロピー値は次の式に従って計算されます。

ここで、 $M \times N$ はサブ画像ブロックのピクセル数であり、サブ画像ブロックの総ピクセルにおけるグレー値を持つピクセルの割合を $P\left( {i,j} \right)$ 示します。 $\left( {i,j} \right)$ 各サブ画像ブロックのローカルエントロピー値を計算した後、ローカルエントロピー値の最大値 ${H_{\最大 }}$ と最小値を検索 ${H_{\分 }}$ し、経験的パラメータを取得し ${k_1}{\rm{ = }}4$ 、 $k'{\rm{ = }}4$ 最後にセグメンテーションしきい値を取得して、画像からターゲットを大まかに特定します。効果は下の図に示されています。

4.2 弱くて小さいオブジェクトの顕著性検出の改善

ターゲットが配置されているサブ画像ブロックを大まかに特定した後、それを取り出し、3.1 STEP1 に従って行列 W を計算します。結果は下図に示されています。

$サウスウェールズ州$ STEP2 に従って、顕著性マップを計算するためのスライディングウィンドウのサイズが選択され $9 \times 5 \times 5$ 、結果は下図に示されています。

STEP 3 に従って、 $k = 11$ ターゲットを特定するために経験的パラメーターが選択され、その結果が次の図に示されています。

上の図から、このアルゴリズムは小型の赤外線ターゲットをより正確に検出し、プログラムの実行時間は1.8759 秒であることがわかります。これは、この論文で説明されているアルゴリズムが実際に小型の赤外線ターゲットをより正確かつ迅速に検出できることを証明しています。。

5. 結果の分析とアルゴリズムの改善

経験的パラメータ ${k_1}$ 、、 $k'$ 、 $k$ が変更されていないという条件の下で、さらに 2 枚の画像が実験用に選択され、その結果が下の図に示されています。

上図から、バックグラウンドノイズは基本的に変化しておらず、小さな赤外線ターゲットの顕著性がわずかに変化すると、検出漏れが発生することがわかります。8に変更した後 $k$ 、上図の見逃した画像を再度確認すると、結果は下図のようになります。

たとえバックグラウンドノイズが基本的に類似していても、論文のアルゴリズムの検出結果は経験的パラメータに非常に敏感であることがわかります。顕著性が異なる小さな赤外線ターゲットの場合、検出ミスを避けるために適切な値に $k$ 調整する必要があります。この問題を解決するための改善方法は、顕著性マップ SW を計算した後、閾値で分割して 2 値化された顕著性マップ BSW を取得するのではなく、顕著性が最大のピクセルを微弱赤外線ターゲットの中心点として直接使用することです。そのため、検出結果は経験的パラメータに依存しなくなります。経験的なパラメータを一定に保った場合の改善効果は次の図に示されています。 $k$ $Th2$ $k$ ${k_1}$ $k'$

$k$ 上の図から、改良されたアルゴリズムは、経験的なパラメーターの値に依存せず、見落とされた小さな赤外線ターゲットを検出できることがわかります。