勾配領域と HSV 空間に基づいた、コントラストが歪んだ画像の非参照品質メトリック
まとめ
問題点: 画像の取得と処理中に、コントラストの歪みが発生するため、コントラストの IQA が大きな問題になります。
提案: この論文では、画像のコントラストを評価するための新しい非参照/ブラインド画質評価 (IQA) 方法を紹介します。この研究は、コントラストの歪みと視覚的知覚品質との相互関係を調査することを目的としています。包括的な品質指標は、勾配ドメイン上のローカル バイナリ パターン (LBP) 記述子と HSV 色空間上のカラー モーメントを組み合わせることによって取得されます。予測モデルはサポート ベクター回帰 (SVR) を使用してトレーニングされました。
導入
HSV: 視覚信号が与えられると、人間視覚システム (HVS) はまず全体的な知覚を迅速に生成し、次にエッジ情報などの画質の知覚のために特定の局所領域に徐々に焦点を当てます [33]。
Q. Jiang、F. Shao、W. Lin、G. Jiang、Blique-tmi:
ローカルおよびグローバル特徴分析に基づくトーンマップ画像のブラインド品質評価、IEEE Trans. 回路
システム ビデオテクノロジー。29 (2019) 323–335。
特定の画像のコントラストを評価する場合、そのエッジ情報が重要です。一般に、高コントラストの画像はエッジがシャープで詳細がより多く、グレースケールで確認できる多くの情報を伝えることができます。さらに、人間が認識する情報のほとんどは色情報であり、グレースケール画像に関連する詳細や情報を補足します。これは、コントラスト歪みの特徴付けとして、グレースケールとカラー情報を組み合わせる必要があることを示唆しています。
デュアルネットワークブランチ:
まず、勾配ドメインは画像のエッジを特徴づけ、グレースケールの画質を反映します。勾配ドメインの構造は、コントラスト歪みの発生に応じて変化します。HVS の感度を考慮すると、強度や分布を含む勾配マップの空間構造を表現する必要があります。
第二に、色は画像のコントラスト効果に大きな影響を及ぼし、提供されるカラー画像のダイナミック レンジは大きくなります。コントラストの歪みが発生すると、色の歪みが変化し、視覚的な認識が低下します。画像の色の程度を定量化するために、色の明度 (明るさと暗さの程度を示す) と色の彩度 (自身の明るさと比較した色の豊かさを示す) を含む HSV 色空間を導入します。さらに、色空間チャネルの統計的分布を使用して歪みを特徴付け、画像の知覚品質を効率的に推定します。
コントラスト歪みについて: LBP と組み合わせたグラディエント ドメイン
図 3 から、高コントラストの画像ではより詳細が表示され、画像がより鮮明になっていることがわかります。図 3(a) は元のグレースケール画像であり、図 3(b) ～ (d) はコントラストを変更した後の対応する画像であり、歪みの度合いが増加しています。グレースケールのコントラストの歪みにより、画像のエッジがぼやけていることがわかります。グレースケールの歪みを計算するには、次の図に示すように、勾配ドメインと LBP を組み合わせてグレースケール イメージの歪みを表します。
HSV色空間のカラーモーメント
色情報は、人間が自然の風景を自然に認識する際にも重要な役割を果たします。実験によると、人間が自然の光景を認識する最初の瞬間では、知覚情報の 80% が色情報であり、2 分後 [34] 、この比率は約 50% に維持できることが示されています。
Lihuo He、Xinbo Gao、Wen Lu、Xuelong Li、Tao Dacheng、S-CIELAB モデルに基づく画質評価、Signal Image Video Process、5、2011、pp.283–290。
図 5(a) は元のカラー画像で、図 5(b) ～ (d) はコントラストが歪んでおり、コントラストが減少している対応する画像です。この目的を達成するために、人間の視覚系の特性に適合する、歪んだ画像の色情報を表す HSV 色空間を導入します。
図 4 に示すように、カラー モーメントはその分布を特徴付けるために使用されます。
HSV 色空間の変化をよりよく観察するために、図 6 に 3 チャネルのマッピングを示します。これは、図 5 の対応する画像の HSV 色空間の 3 つのチャネルを示しています。
3 つのチャネルをより直観的に観察するために、図 7 に示すように、3 つのコンポーネントに対してヒストグラム統計を実行します。横軸は画素値を表し、縦軸はその画素値がチャネルマップ内に出現する頻度を表す。彩度マップと値マップの統計的分布特性が異なることがわかります。
確率理論から、確率分布の唯一の特徴はそのモーメントであることがわかっています。画像の色分布を確率分布として解釈すると、色分布はそのモーメントによって特徴付けることもできます。したがって、カラーモーメントは、効率的かつ一般的な画像検索ツールとしてよく使用されます。この研究では、コントラストの歪みを伴う色分布を表現するためにこれを利用します。
[31] では、色分布情報を保存するために各カラー チャネルの中心モーメントが提案されています。さらに、色分布情報は主に低次モーメントに格納されていることが証明されているため、色情報の記述子として 1 ～ 4 次の中心色モーメントを選択します。最初の瞬間は平均値で、画像の平均的な色が保存されます。2 番目は分散で、標準偏差を表します。3 番目と 4 番目の中心モーメントは、それぞれ各カラー チャネルの歪度と尖度です。
図８は、図５に示す画像の彩度チャンネルと明度チャンネルのカラーモーメント特性を示す。コントラスト歪みの変化に応じてカラーモーメントの絶対値も変化し、両者の間には正の相関があることがわかる。これは、私たちが提案したカラーモーメント特徴が、さまざまなコントラスト歪みを持つ画像を効果的に表現できることを示しています。
実験結果
