第5章 テクスチャ解析メモ

第5章 テクスチャ解析

• 要約：第5章 テクスチャ解析ノート 主な内容：テクスチャ表現（階調共起行列、ワードバッグモデル）、テクスチャ合成

5.1 テクスチャの概要

• テクスチャはどこにでも存在する簡単に識別できる現象ですが、定義するのは困難です。

• テクスチャには繰り返しパターンが含まれます。つまり、同じ小さな画像が何らかの方法で何度も繰り返されます。同時に、これらの小さな画像ブロックは、視野角の変化などにより変形する可能性があります。

• テクスチャは、いくつかの要素が特定の方法で繰り返されることで形成されます。これらの要素はテクスチャ プリミティブと呼ばれます。テクスチャは、最初にテクスチャ プリミティブを見つけて、次にテクスチャ プリミティブがどのように繰り返されるかを要約することによって表現および分析できます。

• テクスチャは画像内のグレースケールまたはカラーの空間分布を反映し、グレースケールまたはカラーの特定の値を気にせず、テクスチャはスケールに大きく影響されます。如图5-2示されています。

• テクスチャの生成: テクスチャは、シーン内の異なるサーフェス間のアルベド変化によって生成できます。

  • 例：衣服の模様によって形成される質感 / 表面形状の変化によって生じる樹皮の質感 / 多数の葉によって形成される質感など、多くの小さな要素で構成される

• テクスチャ機能: テクスチャを通じてシーンの情報を推測し、オブジェクトを識別し、オブジェクトの形状を分析できます。

• テクスチャ分析: 2 つの重要な質問が含まれています。

  • 質感の表現方法
  • テクスチャを組み合わせる方法

  
  図5-2

5.2 テクスチャ表現

5.2.1 グレーレベル共起行列

グレー レベル共起行列(GLCM)は、グレー スケールの空間相関特性を研究することによってテクスチャを記述する方法です。

テクスチャは空間位置における階調分布の繰り返し出現によって形成されるため、画像空間内で一定の距離を隔てた 2 つのピクセル間には一定の関係、つまり階調の空間相関特性が存在します。画像をご覧ください。グレースケールヒストグラムは画像上の各ピクセルのグレースケールを統計した結果であり、グレースケール共起行列は画像上で一定の距離を保つ2つのピクセルのグレースケール値をカウントすることで得られます。

グレーレベルの共起行列(小さなテクスチャの記述に適しています)

• 階調共起行列 P[i, j] は2 次元の相関行列です。変位ベクトル d=(dx, dy) を規定し、 d で区切られた階調レベル i と j を持つすべての画素ペアの数を計算することで階調共起行列を求めることができます。
• 同じ画像に対して、異なる変位ベクトルが与えられると、異なるグレースケール共起行列が取得されます。
• 階調共起行列は、空間内の画像内の階調の分布情報を表します。
• グレーレベル[i,j]のピクセルペアの数は、グレーレベル[j,i]のピクセルペアの数と必ずしも等しいわけではないため、グレーレベルの共起行列は非対称行列になります
• グレーレベル共起行列のサイズは最大グレーレベルにのみ関連し、画像サイズとは関係がないため、理解しやすく、計算するのが簡単です。
• 短所: グレーレベルの共起行列には形状情報が含まれていないため、大面積のプリミティブを使用したテクスチャの記述には適していません。

正規化されたグレースケール共起行列

• 計算: グレーレベル共起行列を変位ベクトルを満たすピクセルペアの総数で割ると、正規化されたグレーレベル共起行列が得られます。

• 正規化されたグレーレベル共起行列:

  • グレーレベル分布のランダム性に対応するテクスチャのエントロピーを計算できる
  • 均一性特徴のエントロピー値は、テクスチャ コンテンツのランダム性の尺度です。エントロピー値が大きいほど、ランダム性が強くなります。
  • テクスチャのエネルギー フィーチャを計算します。エネルギー フィーチャは、テクスチャの均一性または滑らかさを反映します。エネルギーが小さいほど、テクスチャはより均一または滑らかになります。
  • コントラスト特徴は、テクスチャ ポイント ペア内の2 つのピクセル間のグレースケール差を反映する尺度です。グレースケール差が大きい点ペアが多い場合、コントラストは大きくなり、テクスチャは粗くなります。それ以外の場合、テクスチャは粗くなります。より柔らかく。
  • 均一性: テクスチャの均一性を反映します。

5.2.2 バッグオブワードモデル

• テクスチャは、いくつかの要素が特定の方法で繰り返されることで形成されます。これらの要素はテクスチャ プリミティブと呼ばれます。

  第 3 章では、フィルターをパターン検出器とみなすことができるため、さまざまなパターンのフィルターを使用してさまざまなパターンのテクスチャ プリミティブを検出できることを示します。

• テクスチャは、最初にテクスチャ プリミティブを見つけて、次にテクスチャ プリミティブがどのように繰り返されるかを要約することによって表現および分析できます。

• しかし、テクスチャのプリミティブパターンはほぼ無限にあり、検出するのは困難です。したがって、別の方法で間接的にテクスチャを記述します。

  • テクスチャ プリミティブのサブ要素を見つけます(通常、さまざまな点とさまざまなエッジ。サブ要素の数はテクスチャ プリミティブの数よりもはるかに少なく、さまざまなフィルタで検出できます)

  • サブ要素の外観を要約し、間接的にテクスチャを説明します。

• プロセス:

  • 1.一連のフィルターを選択します(サイズ、方向、スケールが異なります)。

    各フィルターは、さまざまな点やエッジを含むパターンをさまざまな方法で表します。

    2. フィルタを使用して画像をフィルタし、フィルタの結果を修正します。

    通常、補正には半波（半波）法が使用されます。つまり、フィルタFiの場合、画像のフィルタリング結果を操作して、2つの補正結果max(Fi*I)とmax(0,-(fi)を取得します。 * 私））。

    修正理由:平均化などの後続の操作を実行するときに、暗い前景と明るい背景、および明るい前景と暗い背景の応答を平均化することは避けてください。

    3.修正された回答の何らかの形式の要約。(要約ベクトル)

    例: 最大値を見つける、平均を見つけるなど。

    • これらのサマリーは、さまざまなスケールで隣接する要素の情報をキャプチャして、テクスチャの全体的な説明を取得できます。

    • 各ピクセルは、使用されるフィルターの数を2 倍した次元のサマリーベクトルを使用して記述することができます。

    • 各ピクセルの要約ベクトルは、そのピクセル位置でのさまざまなフィルター応答の組み合わせを表します。

      • 例: 水平と垂直の 2 つのフィルターしかない場合、各ピクセルの要約ベクトルは 4 次元ベクトルになります (各フィルターは補正後に 2 つの応答マップを持ちます)。

        [1,1,0,0] は、このピクセル位置に強い水平エッジがあり、垂直エッジがないことを意味します。

    • テクスチャ イメージ全体を表します。それに含まれるピクセルの合計ベクトルのヒストグラムを計算します。

    • 要約ベクトルは連続的であり、ヒストグラムを計算するために直接カウントすることはできません。

      実際の計算では、要約ベクトル表現は連続的です。つまり、フィルターの応答はすべて連続値です。したがって、各ピクセルの要約ベクトルを取得した後、これらのベクトルを単純にカウントしてヒストグラムを計算することはできません。(要約ベクトルを離散化しても、ヒストグラムを直接計算することはできません)。

      • 理由：集計ベクトルの次元が高く、ヒストグラムを直接計算しているため、ヒストグラムに含まれる要素数が多すぎます。
      • 解決策: バッグオブワードモデル

    Bag of Words モデルのプロセス:如图5-6

    • 1. 辞書/コードブックを作成する

      • 辞書には N 個の単語 (ベクトル) が含まれています。
      • 辞書を構築する方法: クラスタリング法。

      一般的に使用されるクラスタリング手法: K 平均法/K 平均法。

      • これは、サンプル間の類似性を測定するための基準としてサンプル間の距離を使用する、パーティションベースのクラスタリング アルゴリズムです。(つまり、サンプル間の距離が小さいほど類似性が高く、同じクラスに属する可能性が高くなります) (サンプル間の距離を計算する方法は多数ありますが、K 平均法ではユークリッド距離を使用してサンプル間の距離を計算します。サンプル）

      • K: カテゴリの数

      • 平均: クラス内のデータ オブジェクトの平均値 (クラス センターの説明とみなすことができます)。したがって、 K-means アルゴリズムとも呼ばれます。

      • K 平均法アルゴリズムのプロセス:

        • (1) K値(クラスタリングで得られるカテゴリの数)を入力します。
        • (2)データセットから K 個のサンプルを最初のクラスター中心としてランダムに選択します
        • (3) セット内の各サンプルについて、各初期クラスター中心からの距離を計算し、最も近いカテゴリに分割します。
        • (4)各カテゴリの平均値を新しいクラスター中心として計算します。
        • (5) 新しいクラスターの中心と古いクラスターの中心の間の距離の変化が指定されたしきい値よりも大きい場合は、手順 (3) ～ (5) を繰り返します。

    • 2. 辞書内の単語のヒストグラムを使用してテクスチャを表します。(ヒストグラムの要素数 = 辞書の単語数 N​​)

      • テクスチャ イメージ内のピクセルごとに、その要約ベクトルを計算します。
      • 辞書内のどの単語 (ベクトル) が類似している (近い) かを判断するには、その単語 (ベクトル) を要約ベクトルとして使用します。
      • 各ピクセルの要約ベクトルに対応する辞書内の単語の出現数を使用して、テクスチャのヒストグラム表現 (辞書内の各単語 (ベクトル) の出現頻度のヒストグラム)を構築します。

図5-6

5.3 テクスチャ合成

テクスチャ合成とは、小さなテクスチャ イメージを与えられたアルゴリズムを通じて、大きなテクスチャ イメージを生成するプロセスを指します。

テクスチャ合成はグラフィックスや画像の穴埋めに重要な用途を持っています

テクスチャ合成方法：

与えられたテクスチャ イメージで、ピクセル値の 1 つが欠落していると仮定します。

ピクセルの周囲のウィンドウを選択し、画像の他の領域と一致させ、ウィンドウに最も一致するウィンドウを見つけます。一致するウィンドウの中心ピクセルの値を使用してこのピクセルを塗りつぶし、ピクセル間の二乗差の合計を計算します。 2 つのウィンドウ(二乗差の合計、SSD) を照合します。

問題が発生します:

• 問題 1: しきい値を満たすウィンドウが見つからない

  • 原因: ウィンドウ間のマッチングを行う場合、単純にしきい値を設定し、そのしきい値よりも距離が小さいウィンドウを選択してテクスチャを完成させます。

  • 解決策: より良い戦略は、距離が (1+α)smin 未満であるすべてのウィンドウを選択することです。

    • smin は、照合対象のウィンドウに最も近いウィンドウと照合対象のウィンドウの間の距離です。
    • α は、テクスチャ合成のために毎回一致するウィンドウを確実に見つけることができるようにするためのパラメーターです。

• 質問 2:テクスチャ合成時に選択したウィンドウのサイズは、テクスチャ合成の効果に大きく影響します。

  • 選択ウィンドウが小さすぎるため、テクスチャの大きなスケールでフィーチャをキャプチャできません。

  • 例:图5-8例として最初の行の点線のテクスチャ

    • ウィンドウが小さすぎるため、ポイントの形状特性をキャプチャできず、生成されたテクスチャは縞模様になります。
    • ウィンドウが大きくなると、生成されたテクスチャはリングの特徴を持ちますが、リング間の均一な分布は捕捉されません。
    • ウィンドウが大きくなると、均等に分布したテクスチャを生成できるようになります

    
    図5-8

• 問題３：ピクセル単位のテクスチャ合成が遅い。

  • 解決策: テクスチャを合成するとき、合成は画像ブロックの単位で実行され、合成方法はピクセルベースの方法と似ています。

  • 画像ステッチングに基づくテクスチャ合成方法:如图5-9

    • まず、元の画像のテクスチャ画像から小さなランダムな画像を取得し、空白のターゲット画像上に配置します。

      • 元のテクスチャ画像から、図の枠内に示された領域に最も類似した画像ブロックを検索します。検索の際、枠内のグリッドの部分は計算されず、枠内のグリッドの外側の部分のみが使用されます。画像ブロック間の類似性を計算します。
      • SSDを使用して画像間の類似性を計算し、距離が閾値未満のウィンドウを選択して完了します

    • 次に、左から右、上から下の順にテクスチャ生成が行われます。

      
      図5-9

テクスチャ合成の目的：画像の穴を埋める

穴が位置する画像領域が比較的不規則なテクスチャ領域であり、埋めるための類似の画像ブロックを見つけることができない場合、テクスチャを合成することで穴を埋めることができます。

問題: テクスチャ合成で穴を埋める場合、埋められるピクセルの順序が結果に大きな影響を与える可能性があります。

解決策: 通常、テクスチャは穴の境界から合成されます。

これは、これらの場所のピクセルの周囲に最もよく知られているピクセルがあり、一致させるのが最も簡単であるためですが、そうすると、グラフ内の長い境界線が消えてしまう可能性があります。

テクスチャ合成の順序はテクスチャ合成の結果に影響します。例：如图5-12

穴の端から合成すると、画像内の電柱が消えます。

画像の端から合成すると、これらの長いエッジを保存できます。

図5-12