【读论文】適応ピクセル重み付け戦略を使用したリアルタイムの赤外線および可視画像融合ネットワーク

赤外光と可視光の画像融合に関する論文のより詳細な解釈については、赤外光と可視光の画像融合コラムを参照してください。この分野に関する質問については、プライベートメッセージまたはパブリックアカウント経由で私に連絡することも歓迎します。

導入

長い間論文を読んでいませんでしたが、今日少し時間ができたので、情報融合に関する論文を見つけました。一緒に見てみましょう。
ここに画像の説明を挿入します
リアルタイム性を向上させる論文です。この論文はこれまでの論文とは異なります。違いについて見てみましょう。

ネットワーク構造

ここに画像の説明を挿入します
まずこのネットワークアーキテクチャ図を見てみましょう

どう思いますか? 私の最初の反応は、今日は興奮したということです。なぜこのネットワークアーキテクチャ図はとても単純なのでしょうか? なぜアテンションブロックやエンハンスメントブロックなどが存在しないのですか? 畳み込み層はほんのわずかしかありません。これには感心する必要があります。本稿の著者もこのような単純なネットワーク構造を設計することができ、役に立っています。

ここに画像の説明を挿入します

では、その構造はどのようなものなのでしょうか？

表面的には、いくつかの畳み込み層が積み重なっているように見えますが、実際には、いくつかの畳み込み層が積み重なっているだけです。

軽量とは何か? これは軽量だ!
![ここに画像の説明を挿入](https://img-blog.csdnimg.cn/8487d03e01ad4cc098d88f69e9f3f305.png #pic_center =200)

では、前の畳み込みは何をするのでしょうか?

まずそれについて話します. 著者はネットワーク全体のリアルタイム性能を向上させたいと考えています. 深い特徴を抽出して画像を復元するこれらの方法は明らかに不適切です. そして記事の中で述べられていますが, に基づいた方法はありますが深い特徴は画像の効果を向上させますが、下流のタスクには適していません。ピクセルベースの方法と比較して違いはありません。

したがって、これらの畳み込み層を設定する目的は重みを生成することであり、生成された重みを使用して赤外光画像と可視光画像を加算し、処理後に画像を融合します。

重みを生成するプロセスは次のとおりです. ここでの P は、前述した複数の畳み込み層にシグモイドを加えたものです. 目的は、出力結果の重みを 0 から 1 の間にすることです. C は、重みを使用して演算を結合するプロセスです
ここに画像の説明を挿入します
以下のように画像を融合し

、正規化します

この時点で、画像の融合が完了します。

これを見て、これらの畳み込み層で必要な重みを生成するにはどうすればよいのかと疑問に思うかもしれません。

この問題の損失関数を見てみましょう。心配しないで、損失関数を見てみましょう。

損失関数

ここに画像の説明を挿入します

この損失関数を見るとどんな感じになりますか? とても新鮮ですよね?

このような単純な損失を長い間見たことがありませんでした。最大勾配と最大強度の損失はすべて私たちにとってよく知られたものです。

唯一の違いは、ここでの検出損失であり、これは YoloV5 と一致しています。

私たちが言い続けてきたのは、この論文の目的は、融合画像を下流のタスクにより適したものにすることです。ここでの検出損失は、まさにこのようなものです。これは、融合画像の検出精度を向上させ、最大勾配と組み合わせて、最大強度損失が発生するため、融合画像は下流タスクの検出に適しているだけでなく、強度情報と詳細情報を保持することができます。

それは非常に明白です。ネットワークアーキテクチャでトレーニングできるのは前の畳み込み層だけです。畳み込み層の出力は重みです。つまり、対応する重みを生成することで上記の目標を達成したいということになります。したがって、これらの損失関数により、畳み込み層はトレーニングプロセス中に適応重みを生成できるようになります。