まとめ
画像修復トピックの学習状況の概要。学習内容は次のとおりです。
(1) レビュー文献を読み、画像修復について理解する。
(2) 犯罪アルゴリズムのシミュレーション。
(3) 犯罪アルゴリズムの改良アルゴリズムのシミュレーション
I.はじめに
1) 画像修復とは何ですか
デジタル画像復元技術とは、損傷していない画像情報を使用して、特定のルールに従って画像の失われた部分または損傷した部分を埋めることで、復元された画像が元の画像に近づくか、元の画像の視覚効果を実現することを指します。デジタル画像修復は、主に元の画像の傷、汚れなどの損傷部分を元の画像から消去し、その領域を修復して良好な視聴効果をもたらすことを目的としています。
画像修復と画像修復には違いがありますが、本質的には大きな違いがあります。1. 画像取得時には、ノイズ、ジッター、フォーカスなどの問題により画質が劣化しますが、これらの問題に対して、逆劣化により画質を向上させる劣化モデルを構築します。劣化した画像の中には画像の真価を示す情報が多かれ少なかれ含まれており、条件によっては画像の真価を完全に復元することもあります。しかし、画像復元問題では、修復すべき領域の情報がすべて失われ、その部分は近傍情報に従って埋めるしかなく、真の値は得られません。画像修復には唯一の解決策はなく、解決策の合理性は視覚システムの受け入れに依存します。
数学的な観点から見ると、イメージの修復には、復元されたイメージが一意に正しいことを保証するのに十分な情報がありません。したがって、画像復元技術の本質は、マシンビジョンの開発促進に重要な影響を与える視覚認知プロセスを学習、理解、再現することにあります。
2) 画像修復手法の分類
(1) PDE モデルと変分汎関数
これら 2 つの方法は、変分原理を通じて相互に導出され、総称して PDE/変分汎関数画像復元法、つまり方程式解法に基づく方法と呼ばれます。これは、損傷した画像の手動修復をシミュレートするプロセスであり、修復が完了するまで、確立されたモデルに従って既知の情報が損傷領域に徐々に拡散されます。この方法は主に小さな領域の損傷の修復に使用されます。この方法は優れた画像平滑化能力を備えており、切断された画像を接続し、画像の角の問題を修復できます。これは人間の目の接続原理と一致しています。
(2) サンプルベースの画像修復方法は、
各修復で何個のピクセルをマッチングして合成するかによって、サンプルポイントベースの修復とサンプルブロックベースの修復に分けられ、それぞれの領域を修復できます。合成なので効率は比較的高い。サンプルベースの画像修復技術の重要なポイントには、サンプル ブロックのサンプリング方法、修復シーケンス、サンプル ブロックのサンプリング範囲、およびベスト マッチング ブロックが含まれます。
(3) 近傍テンプレートと補間に基づく画像復元方法
この方法は主に補間式または適用されたテンプレートに基づいており、優先選択方法や直接選択方法など、既知の近傍点を取り込んで欠陥領域内の点のピクセル値を計算します。補間方法 。
(4) テクスチャ合成による修復方法 テクスチャ
合成方法は、テクスチャ画像の修復に一般的に使用されており、基本的な考え方は、既知の画像から適切なブロック サンプルを選択し、それを欠陥領域に合成またはコピーすると同時に、構造的な類似性と連続性を確保します。
2. 犯罪アルゴリズムのシミュレーションと分析
研究の最終段階では、画像復元のアルゴリズムプロセスを学び、プログラムを検討しましたが、本研究では、これまでの理解を基に、犯罪アルゴリズム（資料1）の独立したシミュレーションを実行しました。以下は、シミュレーションの過程で遭遇したいくつかの問題と、それを解決する過程であり、最終的に正しいシミュレーション結果が得られました。
1) 犯罪アルゴリズムのシミュレーション
図 1. 元の画像
図 2. 破損した画像左 (a)、修復結果 (b)、および元のテキスト結果 (c)
結果を取得してみると、図 2(c) の元のプログラムで得られた結果とは異なることがわかります。修復する他の損傷領域を選択すると、シミュレーション結果は次のようになります。
図 3. 損傷画像の左 (a)、再現された修復結果 (b)、元のテキストの結果右 (c)
したがって、シミュレーション処理には多少の誤差があるはずですが、ブレークポイントを設定して確認すると、信頼度 C の値は常に 1 であることがわかります。信頼度の計算に誤りがあることがわかります。検査の結果、シミュレーション プログラムでは C の初期化が次のように定義されていることがわかりました。 C は論理型、つまり論理行列であり、すべての値
です0 ではないものが 1 に設定されるため、信頼度の計算がエラーになり、優先度が間違っているため、結果が間違っています。この文を double 型の C に変更すると、正しい信頼結果が得られ、元のプログラムと同じ修復結果が得られます。他の壊れたブロックを使った実験では、場合によっては修復の効果が低いことが判明しました。以下に示すように:
シミュレーションの最後のステップで、いくつかの問題が発生しました。つまり、修復対象のブロックを最適マッチングのブロックに置き換えるときに、当初のアイデアは修復対象のブロック全体を最適マッチングのブロックに置き換えることでしたが、よく考えてみると、この方法では修復するブロック内の既知の領域も変更されてしまい、エラーが発生することがわかりました。したがって、正しい考え方は次のとおりです。
手順は次のとおりです:
ind(Hp(tofill))=ind(Hq(tofill)); % ブロック内の修復するすべての点の座標インデックスを、最も一致するブロックの座標インデックスに置き換えますdamageImage(rows,cols) ) =damageImage(
ind (rows,cols)); %破損したブロックを最も一致するブロックで埋め、9*9 全体を座標インデックスの変更されたブロックで置き換えます
3. 改良されたアルゴリズムのシミュレーション
文書 2で提案されている改良アルゴリズムのシミュレーション:
(1) 改善優先度 等
光線の方向が単位法線ベクトルに対して垂直の場合、D§=0、C§が大きくても生成ブロックには多くの情報が含まれますが、優先度は0となり、早期に埋めることができません。その結果、充填順序が間違ってしまい、エラーが蓄積されてしまいます。
改良されたアルゴリズム: P§=0.4*C§+0.6R§; ここで、R§=D§+0.1、画像修復の結果は次のとおりです: (2)テクスチャ内の
サンプル ブロック テンプレート ウィンドウ サイズを適応的に選択します。
リッチ エリア (場合) より大きなサンプル ブロック テンプレート ウィンドウを使用すると、結果に誤った導関数が発生し、より小さなサンプル ブロック テンプレート ウィンドウをスムーズ エリアで使用すると、ブロック効果が発生します。したがって、テンプレート ウィンドウは可変である必要があります。中心ピクセルの勾配係数のみを使用する場合には限界があり、テンプレート ウィンドウのサイズは、生成されたブロック内の既知の領域の平均勾配係数の変化によって決定されます。
これは、中心ピクセルの勾配係数を取得することによって得られた実行結果です。
中心ピクセル値のサイズは、0.1 より大きい間隔でより多く分布しており、その結果、サンプル ブロック テンプレートを修復するためのウィンドウ半径が小さくなり、修復回数が増え、時間がかかり、効果が良くないことがわかります。
生成されたブロックの平均勾配係数が [1] で使用される場合、実行結果は次のようになります。
画像の特殊性が原因である可能性がある、修復結果の PSNR 合計が大幅に最適化されていないことがわかります。 。また、サンプルブロックの半径が小さいため充填回数が多くなり、時間がかかります。
(3) 適応選択探索空間
C§ が大きいほど、点 p の周囲の既知の情報が多いほど信頼性が高いことを意味します。逆に言えば、知られている情報が少ないということです。修復が進むにつれてC§は徐々に減少し、点pは元の損傷境界からどんどん遠ざかっていくため、より広い探索空間で一致するブロックを探索する必要があります。
なお、ここでのＲは必ずしも整数ではないため、得られる矩形領域の座標が整数ではないというエラーが発生する。以下の図は、改善された効果を示しています。
この方法を使用すると、探索範囲が狭くなるため所要時間が大幅に短縮され、修復結果の PSNR 値も大幅に増加することがわかります。そこで、S を他の値に設定してみた結果が次のとおりです。 S = 50 の場合に最適な結果が得られます。criminis アルゴリズムと比較して、改良されたアルゴリズムによって得られる修復結果の品質 (PSNR 値) が向上し、所要時間が大幅に短縮されることがわかります。
参考文献
[1]A. Criminisi、P. Perez、K.Toyama. 模範ベースの修復によるオブジェクト除去[C]. In: IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2003, 721-728. [2] Fan Guanpeng
、He Honjie、Chen Fan、Zhai Donghai、Renqing Norbu. 局所特性に基づく画像修復アルゴリズム[J]. オプトエレクトロニクス. Laser, 2012, (12): 2410-2417.