単純ベイジアン アルゴリズム学習の学習ノート

単純ベイズ アルゴリズムの研究ノート

この記事は、個人的な研究と理解のためだけのものです

単純ベイズ分類器(分類方法です)

ベイズ式

$$P(A|ロ）=\frac{P(A,B}{P\left(ビー\right)}=\frac{P(B|A\left)P\right(A}{P\left(ビー\right)}$$
ここで:
$P\left(A\right)$ :事前確率
$P(A|B)$ :事後確率
$P(B|A)$ : 事象 A が発生する条件下で B が発生する確率、つまり尤度関数
$P\left(B\right)$ : すべてのクラス ラベルで同じなので、証拠係数$P\left(B\right)$与类标记无关
$$P(A_{}|ロ）=\frac{P\left(B|{あ}_{}\right)P(A_{}}{{\sum }_{}P\left(B|{あ}_{}\right)P\left(A_{}\right)}$$

分類問題

単純ベイジアン アルゴリズム (例の説明付き)

ベイジアン式は次のように表すことができます。
$$P\left(\_=c_{}|バツ=X\right)=\frac{P(\times =X、y=c_{}}{P（\times =X)}=\frac{P\left(\times =バツ|y=c_{}\right)P(\_=c_{}}{P（\times =X)}$$
各属性が互いに独立していると仮定すると:
$$P\left(\times =バツ|y=c_{}\right)=\prod _{私は=1}P\left({\times }^{私}=a_{}|y=c_{}\right)$$
単純なベイジアン式: 機能セット$x$ , yyの条件でP ( y = cn ∣ x = X ) = P ( y = cn ) ∏ i = 1 m P ( xi = ai ∣ y = cn ) P ( x = X ) P\left( $y$
$$P\left(\_=c_{}|バツ=X\right)=\frac{P\left(\_=c_{}\right){\prod }_{私は=1}^{}P({\times }^{私}=a_{}|y=c_{}}{P（\times =X)}$$
条件付き確率$y$作は预测の結果：
$$f\left(x\right)=\mathrm{argmax}\left(\frac{P\left(\_=c_{}\right){\prod }_{c_{}}^{}P({\times }^{私}=a_{}|y=c_{}}{P（\times =X)}\right)$$
(証拠因子はクラス ラベルに依存しない) つまり、$p(x=X)$省略可
$$f\left(x\right)=arg\underset{c_{}}{}\left(P\left(\_=c_{}\right)\prod _{私は=1}P\left({\times }^{私}=a_{}|y=c_{}\right)\right)$$
$$P\left(\_=c_{}\right)=\frac{{\sum }_{私は=1}^{}私(\_=c_{}}{N}、n=1、2、\dots K$$
$$P\left({\times }^{私}=a_{}|y=c_{}\right)=\frac{{\sum }_{私は=1}^{}私({\times }_{私}^{}=a_{}|y=c_{}}{{\sum }_{私は=1}^{}私\left({\_}_{}=c_{}\right)}$$

算例1

Naive Bayesian アルゴリズムのコード例の実装 (python)

価格A	レッスン B	営業Ｃ	価格A	レッスン B	営業Ｃ
低い	多くの	高い	0	2	2
高い	真ん中	高い	2	1	2
低い	少し	高い	0	0	2
低い	真ん中	低い	0	1	0
真ん中	真ん中	真ん中	1	1	1
高い	多くの	高い	2	2	2
低い	少し	真ん中	0	0	1

予想価格 A=2 (高) クラス時間 B=2 (それ以上) 販売時間

from __future__ import division
from numpy import array


def set_data(price, time, sale):
    price_number = []
    time_number = []
    sale_number = []
    for i in price:
        if i == "低":
            price_number.append(0)
        elif i == "中":
            price_number.append(1)
        elif i == "高":
            price_number.append(2)
    for j in time:
        if j == "少":
            time_number.append(0)
        elif j == "中":
            time_number.append(1)
        elif j == "多":
            time_number.append(2)
    for k in sale:
        if k == "低":
            sale_number.append(0)
        elif k == "中":
            sale_number.append(1)
        elif k == "高":
            sale_number.append(2)
    return price_number, time_number, sale_number

price = ["低", "高", "低", "低", "中", "高", "低"]
time = ["多", "中", "少", "中", "中", "多", "少"]
sale = ["高", "高", "高", "低", "中", "高", "中"]

price_number, time_number, sale_number = set_data(price, time, sale)
print(price_number, time_number, sale_number)

$$P(C=0|バツ=X)\propto P(C=0\left)P\right(A=2|ハ=0)P(B=2|ハ=0)$$
$$P(C=1|バツ=X)\propto P(C=1\left)P\right(あ=2|ハ=1）P（B=2|ハ=1)$$
$$P(C=2|バツ=X)\propto P(C=2\left)P\right(あ=2|ハ=2）P（B=2|ハ=2)$$

from __future__ import division

price_number = [0, 2, 0, 0, 1, 2, 0]
time_number = [2, 1, 0, 1, 1, 2, 0]
sale_number = [2, 2, 2, 0, 1, 2, 1]
exprice_number = 2
extime_number = 2

sale0p = sale_number.count(0)
sale1p = sale_number.count(1)
sale2p = sale_number.count(2)

a0 = 0
a1 = 0
a2 = 0
b0 = 0
b1 = 0
b2 = 0

for i in range(0, len(sale_number)):
    if price_number[i] == 2:
        if sale_number[i] == 0:
            a0 = a0 + 1
        elif sale_number[i] == 1:
            a1 = a1 + 1
        elif sale_number[i] == 2:
            a2 = a2 + 1

    if time_number[i] == 2:
        if sale_number[i] == 0:
            b0 = b0 + 1
        elif sale_number[i] == 1:
            b1 = b1 + 1
        elif sale_number[i] == 2:
            b2 = b2 + 1

pa0 = a0 / sale0p
pa1 = a1 / sale1p
pa2 = a2 / sale2p

pb0 = b0 / sale0p
pb1 = b1 / sale1p
pb2 = b2 / sale2p

pc0 = sale0p / len(sale_number)
pc1 = sale1p / len(sale_number)
pc2 = sale2p / len(sale_number)

pcc0 = pc0 * pa0 * pb0
pcc1 = pc1 * pa1 * pb1
pcc2 = pc2 * pa2 * pb2
indf = (pcc0, pcc1, pcc2)
print(indf)
max_indf = indf.index(max(indf))

if max_indf == 0:
    print('销量低')
elif max_indf == 1:
    print('销量中')
elif max_indf == 2:
    print('销量高')

引用したブログ記事

Naive Bayesian 分類アルゴリズムの簡単な例
Naive Bayesian アルゴリズム (例の説明付き)
Naive Bayesian アルゴリズムのコード実装 (python)