ベイズ分類子の原理
序章
ベイジアン分類器は、古典的なパターン認識アルゴリズムの 1 つとして、非常に重要な位置と用途を持ち、ベイズの定理に近似します。
1. 逆確率論とベイズの公式
1. 決定論的推論と確率論的推論
2. ベイズの公式
ベイズの公式は、逆確率論的問題を解くためのものです。既知の結果から始めて、特定の種類の状況が結果の原因である確率を判断します。ベイジアン式：
条件 Bi の下で結果 A が得られる確率の和を示します。
2. ベイズ分類の原理
不確実な統計的分類の問題を解決します。各カテゴリのサンプルが異なる特徴ベクトルを取得する確率がわかっているので、識別対象のサンプルの特徴ベクトルに基づいて、各カテゴリに属するサンプルの確率が計算されます。このときの対応関係は以下の通りです。
| ベイズ分類 | ベイズの公式 |
|---|---|
| 各タイプのサンプルの全体的な発生確率 | 事前確率 P(wi) |
| 各クラスのサンプルが特定の特徴ベクトルを取得する確率 | クラス条件付き確率 P(x,wi) |
| 計算対象のサンプルが特定の特徴ベクトルを取得したときに各クラスに属する確率 | 事後確率 P(wi,x) |
分類決定ルール: 計算された事後確率に従ってサンプルを分類します
前述したように、ベイズ分類は結果から原因を見つけることから始まるため、事前確率とクラス条件付き確率はトレーニング プロセス中に既知である必要があります。
事前確率が不明な場合は、確率を等しくするか、サンプルセット内の特定の属性の出現頻度を事前確率として使用し、新たに取得した情報で事前確率を補正できますが、クラスの条件付き確率が不明な場合は、データ統計から推定する必要があることがよくあります
。
ベイズ分類は確率的であるため、分類の決定には誤り率が存在します。
3. 確率推定
1. 事前確率の推定
事前確率を定数として扱う:
(1) サンプルがランダムにサンプリングされている場合、サンプルセット内の特定のクラスの属性の頻度を事前確率として使用できます: P(wi)=ni/N (2) すべてのカテゴリを一様分布として扱います: P(wi)=1/c 事前確率を確率分布として扱います: P(wi)=∫ P(wi|x) 事前確率の初期値を任意に設定し、あるクラスに属するすべてのサンプルの事後確率を計算します。クラスの条件付き確率がわかっている場合にトレーニング セットを設定し、その数学的期待値を Update
事後確率
に使用します
。
2. クラス条件付き確率の推定
(1) パラメータ推定:正規分布、二項分布などの特定の分布形式があると仮定し、すでにタイプ ラベルを持つトレーニング セットを使用して確率分布のパラメータを推定します (2) ノンパラメトリック推定: 未知の分布形式またはブガッティ分布形式に基づいて、サンプル セット内の情報を直接使用してサンプルの確率分布を推定します
。この場合に得られる確率は通常、数値モデルです。
クラス条件付き確率の推定では、通常、パラメータ推定が使用され、確率モデルの学習プロセスがパラメータ推定プロセスです。頻度主義の学派では、パラメーターは不明ですが、客観的に存在する固定値があるため、尤度関数を最適化することでパラメーター値を決定できると考えています。ベイジアン学派では、パラメーターは観測されていない確率変数であり、割り算が存在する可能性もあると考えているため、パラメーターは事前分布に従うと想定され、その後、観測データに基づいてパラメーターの事後分布が計算されます。
最も一般的に使用される方法は、頻度主義学派の最尤推定法とベイジアン学派のベイズ推定法です。
(1) 最尤推定: 通常は対数尤度推定です。（略）
(2) ベイズ推定:
①推定するパラメータは Θi の事前確率分布 P(Θi) である;
②この種の標本集合 xi の同時確率密度分布 P(xi|Θi) は Θi の関数である; ③Θi の事後確率
P(Θi|xi) が得られる;
異なる判別
関数は異なる分類決定境界をもたらす。
4. ベイズ分類の誤り率
分類器の誤り率: 分類誤り確率の数学的期待値
例: 最小誤り分類器の誤り率: サンプルが大きな事後確率でクラスに分類されるが、サンプル自体はそのクラスに属さない確率。(最小誤差のベイズ分類器、一般的なベイズ分類器については以下を参照)
ベイズ分類 (2 つのカテゴリ) の誤り率は、最初のカテゴリ w1 に属するサンプルが w2 に誤分類される誤り率に、2 番目のカテゴリ w2 に属するサンプルが w1 に誤分類される確率を加えたものに等しくなります。
5 つ、一般的に使用されるベイズ分類器
1. 最小誤り率ベイジアン分類器
分類決定ルール: 事後確率が大きいクラスにサンプルを分割します。
p（wi | x）= maxp（wj | x）の場合、x∈Wiには
最大後確率があります：p（error | x）=σp（wj | x）-maxp（wj | x）。境界は最小
エラー
率です。
最小誤り率ベイズ分類器は線形分類器ですが、分類決定境界は必ずしも線形ではなく、カットオフ点は同じ事後確率を持つ点であることに注意してください。
2. 最小リスクのベイジアン分類器
意思決定: 同定対象のサンプル x を wi に分類する
損失 λij:実際には wj に属するサンプル x をクラス wi に誤分類する損失 条件付きリスク
R(αi|x) = E[λij] = ∑λijP(wj|x)
分類決定ルール: R(αk|x) = min R(αi|x) の場合、x∈wk
3. 単純ベイズ分類器
単純ベイジアン分類器は、クラスの条件付き確率が不明な状況に対処します。
クラス条件付き確率の推定では、各次元のサンプルの特定のクラスの固有値に従って確率分布を推定できます。確率分布は各次元の同時確率分布です。
単純ベイジアン分類器は、各次元が分類結果に完全に独立して影響を与えることを前提としています。
このときの一次元確率密度推定：P(x|wi)=∏P(xk|wi)
ただし、実際のエンジニアリングの実践では、サンプル フィーチャが独立条件を満たさないことがよくあります。一般に、フィーチャ グループ化の方法を使用して、いくつかの属性間の相互依存情報を適切に考慮できます。各グループには、各グループが互いに独立していることを保証するために、少数の関連フィーチャが含まれています。完全な同時確率計算を実行する必要はなく、比較的強い属性の依存関係は無視されません。この考えに基づいて、別の分類器であるセミナイーブ ベイジアン分類器が作成されます。
エピローグ
ベイジアン分類器は、パターン認識の分野、特に情報検索の分野で広く使用されています。
単純ベイジアン分類器は、すべての属性が完全に独立していると仮定します。実際のアプリケーションでは、この仮定を維持するのは困難ですが、アプリケーションでは、単純ベイジアン分類器は通常、非常に優れたパフォーマンスを示します。
参考
学習の際は、北京理工大学の公開講座「人工知能のパターン認識」を参考に 参考書籍
：『機械学習』周志華