Retinexformer 論文の読書メモ

Retinexformer: 低照度画像強化用の 1 段階 Retinex ベースのトランスフォーマー

• 清華大学、ヴュルツブルク大学、チューリッヒ工科大学は、暗画像強調に取り組むオープンソースのトランスフォーマーを ICCV2023 で公開しました。
• この記事では、Retinex の$私=R\odot L\; は$クリーンな R と L を想定していますが、実際にはノイズによりクリーンではないため、L と R にそれぞれ干渉項が追加され、式は次のように変更されます。
  
• この記事では最初の予測$\overline{L}$次に、$私\odot \overline{L}$retinex パラダイムを利用して増強の結果を予測します。上記の式を組み合わせると、次のことが得られます。
  
• 最初の項は、L ⊙ L ‾ = 1 L\odot\overline L=1という仮定によるものです。$L\odot \overline{L}=1$であるため、最初の項は必要な増加の結果であり、クリーンな R であり、2 番目の項はL ^ \hat Lによるものです。$\hat{L}$導入された干渉、つまり露出オーバーまたは露出不足による干渉、3 番目の項目は$\hat{R}$干渉、つまりノイズとアーティファクトが導入されました。第 2 項と第 3 項を総称して破損と呼び、次の式が得られ
  
  ます${私}_{私}$これには破損も含まれており、これは私たちが望む最終的な拡張結果ではありません。まずI lu I_{lu}を推定できます。${私}_{私}$、次に C を削除して、最終的な強化された結果を取得します。
• ネットワーク構造は次の図に示されています。ここで、$L_{}$は画像の 3 チャネルの平均です。下の写真は、モジュールがどのように展開されているかを少し奇妙に示しています。実際には、結合された輝度画像と元の画像から$\overline{L}$そして$F_{私}$、次に、$F_{私}$後続の修復プロセスで変圧器の V を再スケーリングします。これは、照明誘導アテンション ブロックで使用されます。その後の修復プロセスでは、予備的な強調結果を調整し、露出過度の領域を抑制し、ノイズを除去します。

• 実験結果は下図のようになりますが、PSNRとSSIMのみ記載していますが、LLFlowとの比較がないため、PSNRが22しかSOTAと言えません。
  
• また、exdark での強化された結果と、複数のデータセットでのユーザー調査を比較しました。
  
• 個人的にはこの作品には見どころが無いと感じています ネットワーク構造を扱っているだけですが、アイデアが特に目を引くものではなく、効果も特に優れているわけではありません lpips niqe LOE などの指標はまだ与えられていません。