LBP アルゴリズムとその改良アルゴリズム

LBP

LBP はローカル バイナリ パターンを指します。英語の正式名: Local Binary Pattern は、画像の局所的な特性を記述するために使用される演算子です。LBP の特徴には、グレーの不変性や回転の不変性などの大きな利点があります。LBP 特徴は 1994 年に T. Ojala、M. Pietikäinen、D. Harwood によって提案されました。LBP 特徴の計算が簡単で効果が高いため、LBP 特徴はコンピュータ ビジョンの多くの分野で広く使用されています。LBP 特徴はより有名です。アプリケーションは顔認識やターゲット検出に使用されます. コンピューター ビジョンのオープンソース ライブラリ Opencv には、LBP 機能を顔認識に使用するためのインターフェイスがあります. LBP 機能を使用してターゲット検出分類器をトレーニングする方法もあります. Opencv は計算を実現しますただし、LBP 特徴を計算するための別のインターフェイスは提供されません。
元の LBP 演算子は、3 x 3 のピクセルの近傍で定義され、近傍の中心ピクセルをしきい値として使用し、周囲のピクセルが中心ピクセル値より大きい場合、ピクセルの位置は 1 としてマークされ、そうでない場合は 0 とマークされます。このようにして、 3 3 近傍内の 8 点を比較して 8 ビット 2 進数を生成し、これらの 8 ビット 2 進数を順番に並べて 2 進数を形成します。この 2 進数が、中央のピクセル。値は 256 個あります。中心ピクセルの LBP 値は、ピクセルの周囲の領域のテクスチャ情報を反映します。
備考：LBP特徴量を計算する画像はグレースケール画像である必要があり、カラー画像の場合はグレースケール画像に変換する必要があります。

def LBP(srcimg):
    '''
    :param src:图像
    :return:
    '''
    src = cv2.cvtColor(srcimg, cv2.COLOR_RGB2GRAY)
    height = src.shape[0]
    width = src.shape[1]
    # dst = np.zeros([height, width], dtype=np.uint8)
    dst = src.copy()

    lbp_value = np.zeros((1,8), dtype=np.uint8)
    neighbours = np.zeros((1,8), dtype=np.uint8)
    for x in range(1, width-1):
        for y in range(1, height-1):
            neighbours[0, 0] = src[y - 1, x - 1]
            neighbours[0, 1] = src[y - 1, x]
            neighbours[0, 2] = src[y - 1, x + 1]
            neighbours[0, 3] = src[y, x - 1]
            neighbours[0, 4] = src[y, x + 1]
            neighbours[0, 5] = src[y + 1, x - 1]
            neighbours[0, 6] = src[y + 1, x]
            neighbours[0, 7] = src[y + 1, x + 1]

            center = src[y, x]

            for i in range(8):
                if neighbours[0, i] > center:
                    lbp_value[0, i] = 1
                else:
                    lbp_value[0, i] = 0

            lbp = lbp_value[0, 0] * 1 + lbp_value[0, 1] * 2 + lbp_value[0, 2] * 4 + lbp_value[0, 3] * 8 \
                + lbp_value[0, 4] * 16 + lbp_value[0, 5] * 32 + lbp_value[0, 6] * 64 + lbp_value[0, 0] * 128

            dst[y, x] = lbp

    return dst

LTP（2007）

著者らは主に 3 つの貢献を行っています: (i)認識に必要な本質的な外観の詳細を保持しながら照明変化の影響のほとんどを除去する、シンプルで効果的な前処理チェーンを提案する; (ii) ローカル 3次元メタパターン (LTP) を導入する) はローカル バイナリ パターン (LBP) ローカル テクスチャ記述子の一般化であり、均質な領域ではより識別力があり、ノイズの影響を受けにくいです; (iii) ローカル距離変換に基づいた類似性を使用します メトリックはローカル ヒストリー マップを置き換えてさらに改善しますLBP/LTP ベースの顔認識のパフォーマンス。
LTP は、LBP を 3 値コード、つまりローカル 3 値パターンに拡張します。ここで、ic の周囲の幅 ±t の領域のグレー量子化は 0、この領域より上のグレー量子化は +1、この領域より下のグレー量子化は -1 です。つまり、指標 s(u) は 3 値関数に置き換えられます。つまり、

バイナリ LBP コードを三値 LTP コードに置き換えます。ここで、 t はユーザー指定のしきい値です (そのため、LTP コードはノイズに対してより堅牢ですが、グレースケール変換に対して厳密には不変ではなくなりました)。ＬＴＰ符号化プロセスを図２に示す。ここでは、しきい値 t が 5 に設定されているため、許容範囲は [49, 59] になります。

以下の図は、拡張 Yale-B 正面データベースからの人物の画像の例を示しています。これらの列には、それぞれサブセット 1 ～ 5 の画像が表示されます。(a) 入力画像。(b) 前処理チェーン内の対応する照明正規化画像。

参考文献:
Tan X 、 Triggs B . 困難な照明条件下での顔認識のための強化されたローカル テクスチャ機能セット [J]. Amfg、2007、4778(6):1635-1650。

CLBP (2010)

Complete Local Binary Patterns (CLBP) は、テクスチャを表現するための 3 つのローカル テクスチャ記述演算子を提案しています。ウィンドウ グレー レベル差記述演算子 (CLBP-Sign、CLBP_S)、ウィンドウ グラディエント差記述演算子 (CLBP-Magnitude、CLBP_M)、およびセンター ピクセル記述演算子です。 (CLBPセンター、CLBP_C)。その計算方法は次のとおりです。

このうち、
N はサブウィンドウの数を画像で割ったものです。次の式からわかります: CLBP_SP, R は伝統的な意味での LBP です; CLBP_MP, R は 2 つのピクセルのグレー差振幅をグローバル グレー差振幅の平均値と比較することによって、ローカル ウィンドウの勾配差分情報を表します。 CLBP_SP,Rの補足情報として、CLBP_CP,Rは応答中心画素の階調情報である。3 つの記述演算子から構成される CLBP_SMC は、従来の LBP およびそのバリアントと比較して、テクスチャをより細かく記述することができ、テクスチャの認識精度が大幅に向上しました。
CLBP アルゴリズムの分析により、不均一な照明により画像のグレー グラデーション分布が不均一である場合、つまり画像の大部分の領域と比較して、領域のごく一部が急激または緩やかに変化する場合、CLBP_MP、R は次のようになります。その限界を示します。[光に敏感ではないため、画像の滑らかな部分のテクスチャ情報が失われます]

参考文献：
GUO Z、ZHAN GL、ZHANG D. テクスチャ分類のためのローカル バイナリ パターン オペレーターの完成したモデリング [J]。画像処理に関する IEEE トランザクション、2010、19(6):1657-1663

ICLBP（2014）

CLBP アルゴリズムに基づいて、CLBP アルゴリズムはさらに改良され、2 つのピクセルのグレー差分振幅とウィンドウのグレー差分振幅を使用するグレー勾配差分特徴記述演算子 ICLBP_TP,R が提案されます。計算方法は次のとおりです。その中

で、

ICLBP アルゴリズムが生成する 4 つのテクスチャ記述演算子は、ICLBP_SP、R、ICLBP_MP、R、ICLBP_CP、R、ICLBP_TP、R です。そのうち、ICLBP_SP、R の 2 つのピクセルのグレー値を比較します。 CLBP_SP, R と一致するローカル ウィンドウのグレー差分特性を記述します; ICLBP_MP, R は、2 つのピクセルのグレー差分振幅をウィンドウのグレー差分振幅の平均値と比較することによってローカル ウィンドウを記述します。特徴; ICLBP_CP, R は、ウィンドウ グレー平均値と
画像グローバル グレー平均レベル差振幅平均と画像グローバル グレー値を比較します 平均サイズ次数差の大きさは、全体画像の勾配差の特性を表します。
元の CLBP アルゴリズムと比較して、改良された ICLBP アルゴリズムは、画像テクスチャの描写における精細さと堅牢性が向上し、画像のエッジがより鮮明になり、テクスチャがより鮮明で精細になります

。参考: Liu Hao、Yang Yongquan、Guo Xiancao、改良された LBP アルゴリズムテクスチャ特徴抽出用 [J]. Computer Engineering and Applications, 2014,50(6):182-185,245. LIU Hao、
YANG Yongquan、GUO Xiancao、他、テクスチャ特徴抽出に使用される改良された LBP [J]. Computer Engineering andアプリケーション、2014、50(6):182-185,245。

FLBP（2008）

既存の LBP は、まず、近傍ピクセルのグレー値と中心ピクセルのグレー値を減算し、結果が正の場合、ピクセルのローカル バイナリ コードを 1 に設定し、結果が負の場合、ローカル バイナリ コードを 1 に設定します。 0. このアルゴリズムの閾値は固定されており、中心ピクセルと隣接ピクセルのグレー値の差にのみ依存します。したがって、このアルゴリズムは、図に示すように、異なるローカル空間構造モードで同じローカル バイナリ コードを取得する可能性があります。下の図。

基本的な LBP による局所エッジ特徴の識別を強化するために、ファジィ数学を基本的な LBP と組み合わせます。バイナリコードを変換する場合、まず中心ピクセルと隣接ピクセル間のグレーの差を測定し、次に中心ピクセルに対する隣接ピクセルのメンバーシップ度を計算し、その度合いに基づいてローカルバイナリコード値を決定する必要があります。メンバーシップの。図 2 に示すように、メンバーシップ度が 0.5 より大きい場合、ローカル バイナリ コードは 1 と判断され、それ以外の場合は 0 と判断されます。

ファジィ ローカル バイナリ モードは、ローカルな構造的特徴を区別することが基本的に不可能であるという問題を大幅に改善でき、最適化された LBP 式が記述されます。 ここで、ローカル

バイナリ コード S' は次のように定義されます。

μA(u)* は中心ピクセルに対する近傍ピクセルの帰属度であり、式は次のように書くことができます。

Gmax と Gmin はそれぞれ、半径 R の領域内の最大グレー値と最小グレー値を表します。
FLBP はノイズに対する堅牢性を向上させますが、計算量が多く、マルチスケール解析に拡張するのが困難です。

出版物:
Iakovidis DK、Keramidas EG、Maroulis D. 超音波テクスチャ特性評価のためのファジー ローカル バイナリ パターン(J)。画像の分析と認識、2008:750-759。

ALBP（2010）

LBP では画像の局所的な空間特徴を完全に表現できず、テクスチャ画像の方向情報も表現できないため、Guo Zhenhua et al. は 2010 年に、平均と標準偏差を使用して、回転不変のテクスチャ分類に方向統計を使用することを提案しました。各方向のピクセルとその周囲のピクセルの局所的な差分分布を定義します。局所的な差分の統計誤差を減らすために、最小二乗推定 (LSE) を使用する適応 LBP 法 (ALBP) が開発されています。さらに、LSE を使用する ALBP 方法は、分類に追加情報をもたらし、分類精度を向上させることができます。
アダプティブ LBP は、方向統計を含む回転不変テクスチャ分類方法です。各ピクセルと
その周囲のピクセルの間の局所的な差の分布は、その平均と標準偏差によって形成されます。中心ピクセル点 g のグレー値を与えます。、その P 個の隣接点のグレー値は gp で、P の値は 0 から P-1 で、gc と gp の差の分布は P に応じて変化します。図 3.7 は、2 つのテクスチャ画像が類似した LBP 分布を持っているが、それらの局所的な差分 |gc-gp| が異なる例です。

ALBP 法はマルチスケール法に拡張することもできます。

参考文献:
Guo ZH、Zhang L、Zhang D、Zhang S. 方向性統計特徴を備えた適応 LBP を使用した回転不変テクスチャ分類. In: Proceedings of the 17th IEEE International Conference on Image Processing. 香港、中国: IEEE、2010. 285 − 288Song
Kechen、Yan Yunhui、Chen Wenhui、Zhang Xu.ローカル バイナリ モデル手法の研究と展望[J].Acta Automatica Sinica、2013、39(06):730-744。

NTLBP（2012）

Fathi A et al. によって提案された NTLBP オペレーターは、循環多数決フィルターと適切な回転不変マーキング法を使用して、より規則的な均一パターンと不均一パターンを取得し、より優れた認識能力と強力なノイズ耐性を備えています。

著者らは、LBP オペレーター用の新しいラベル付けスキームを設計しました。これは、回転不変の方法でパターンを記述することができ、実際の画像のパターン分布との互換性が高くなります。このメソッドは、4 ビット遷移 (v=4) を持つすべての不均一パターンを使用しようとします。P ビット LBP モードの場合、このグループのモードには少なくとも 2 つの「1」(P=8 の場合は 00100010) があり、1 マイナス " を使用すると最大で P-2 個の「1」(P=8 の場合は 11011101) が含まれるためです。このクラスの各パターンのインデックスとして 1" "。したがって、この不均一パターンのセットでも、均一パターンと同様に、著者らは、パターン内の「1」ビットの数に従って、P-3 保管ビン内のすべての既存のパターンを分類しました。また、他の不均一パターンについては、すべてのパターンに 1 つのラベルを指定するのではなく、同じビット シフト (v) 値を持つグループごとに 1 つのラベルを使用します。
さらに、ノイズ感度の問題を軽減するために、著者らは、提案された LBP 演算子を標準の平滑化およびノイズ除去平均フィルタリング手法と組み合わせることを試みています。この目的を達成するために、著者らは、LBP ドメインに反復多数決フィルターと呼ばれる新しい空間平均フィルターを導入しました。このフィルタでは、ノイズの影響を軽減するために、各ビットの値がその左右の隣接ビットの過半数の値で変更されます。平均フィルタリングと同様に、この多数決フィルタは、取得されたバイナリ コードを平滑化し、提案された LBP のノイズ耐性を向上させることができます。多数決はフォールト トレラント システムを実装する伝統的な方法であるため、著者はこの方法をノイズ トレラント LBP (NTLBP) と名付けました。その公式は次のとおりです。 この方法の中心的な考え方は、効果的かつ合理的に


、ローカル テクスチャ モードでは、より規則的で不均一な元の情報が得られ、ノイズに対してより堅牢になります。この目的を達成するために、反復多数決フィルタリングと新しいラベル付けスキームの統合が採用されています。さまざまなデータベースでの実験により、この方法が既存の LBP オペレーターの中で最も高い認識能力と分類精度を持ち、テクスチャ分析に対する優れた耐ノイズ能力を備えていることが示されています。

参考文献:
Fathi A, Naghsh-Nilchi A R. 効率的なテクスチャ分析のためのノイズ耐性ローカル バイナリ パターン オペレーター［J］. Pattern Recognition Letters, 2012, 33(9): 1093-1100. アンチベースの LBP テクスチャ特徴抽出に関する研究
ノイズ

NRLBP、ENRLBP（2013）

Jiang らは、FLBP に基づいてノイズ耐性 LBP (NRLBP) および拡張ノイズ耐性 LBP (ENRLBP) を提案しました。LBP、LTP、および他の多くのバリアントと比較して、提案された NRLBP および ENRLBP はノイズに強いです。さまざまなアプリケーションにおいて、提案された NRLBP および ENRLBP は、LBP/LTP バリアントよりも優れたパフォーマンスを示します。
NRLBP は、曖昧さのあるピクセル位置で m 個の異なる均一パターンを生成でき、各均一パターンは最終的なヒストグラム統計の重みとして 1/m を単純に受け取ります。不確定モード C(x) が
均一モードを生成できない場合は、不均一モードを表すビンを 1 増加させ、ルックアップ テーブルを確立することで実現できるため、FLBP よりも計算量が大幅に少なくなります。従来の LBP 法よりわずかに高いだけであり、数量は依然として複雑です。


参考文献：
Ren, Jianfeng, Jiang, et al. Noise-Resistant Local Binary Pattern With an Embedded Error-Correction; Mechanism［J］. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 2013, 22 (10) : 4049-4060.
アンチノイズに基づくLBPテクスチャ特徴抽出に関する研究

CRLBP（2013）

Zhao et al.は、3*3 ローカル領域内の各中心ピクセルの値がその平均ローカル グレー レベルで置き換えられる、完全ロバスト ローカル バイナリ パターン (CRLBP) を提案しました。中央グレー値と比較して、平均局所グレー レベルはノイズや照明の変化に対してより堅牢です。CRLBP をより堅牢かつ安定させるために、ノイズに対してより堅牢な加重ローカル グレースケール (WLG) も導入され、元の中心ピクセル値が置き換えられます。

参考文献：
Zhao Y, Jia W, Hu RX, et al. Completed robotic local binary pattern for textureclassification［J］. Neurocomputing, 2013, 106 (6): 68-76 Research on Anti-noise Based
LBP Texture feature Extraction

ハイドロゲン（2014）

Liu らは、従来の LBP 法に基づいて、ノイズに強い新しい BRINT 記述子を設計しました。まず、中心ピクセルの円形近傍システムを使用して、Q 個の連続する近傍ピクセルの平均値で新しい近傍システムの近傍ピクセルを表し、最後に新しい円形近傍システムが取得され、元の中心ピクセル値は次のようになります。しきい値を設定して新しい近傍システムでバイナリ量子化を実行し、最終的にバイナリ パターンを取得します。
BRINT は、理論的にも計算的にもシンプルで、ノイズに強いテクスチャ分類方法です。この方法は効率的であり、付加的なノイズ、照明、および回転の不変性に対して堅牢であり、均一なパターンに関連する欠点を回避し、多数のスケールをエンコードすることができます。提案された方法は、すべてのデータセットで一貫して良好な分類結果を生成し、高ノイズ状況では最先端の方法を最も大幅に上回ります。

参考文献:
Liu L, Yang B, Fieguth P, et al. BRINT: A binaryrotation invariant and noise tolerant texture descriptor［C］// IEEE International Conference on Image Processing. IEEE, 2014. Research on LBP texture feature extract based on anti-
ノイズ

co-ALBP（2014）

CoALBP (隣接ローカル バイナリ パターンの共起) は、元の LBP オペレータ モデルを改良した隣接ローカル バイナリ パターンです。LBP オペレータは照明に対して非常に堅牢であるため、元の LBP オペレータはテクスチャ認識、顔認識などで広く使用されていますが、元の LBP は中間ピクセルと周囲のピクセルを比較し、ヒストグラム統計を比較することによって 2 値化されます。オペレーター間の空間情報の欠如につながります。図 2.10 に LBP と CoALBP の特徴の違いを示しますが、LBP 特徴演算子と比較して、CoALBP では演算子の空間情報が考慮されています。

参考文献:
Qi X、Xiao R、Li CG、他、ペアワイズ回転不変共起ローカル バイナリ パターン[J]、パターン分析とマシン インテリジェンスに関する IEEE トランザクション、2014、36(11): 2199-2213、ネットワーク
ベースカメラ顔認識システム設計