Notas de estudio de aprendizaje de algoritmo bayesiano ingenuo

Notas de estudio del algoritmo Naive Bayes

Este artículo es solo para estudio y comprensión personal.

Clasificador Naive Bayes (es un método de clasificación)

fórmula de Bayes

$$PAG(UN|segundo)=\frac{PAG(Un,b}{PAG\left(B\right)}=\frac{PAG(segundo|A\left)P\right(A}{PAG\left(B\right)}$$
donde:
$P\left(A\right)$ :probabilidad previa
$PAG(UN|B)$ :probabilidad posterior
$PAG(segundo|A)$ : La probabilidad de que B ocurra bajo la condición de que ocurra el evento A, es decir,la función de verosimilitud
$P\left(B\right)$ : lo mismo para todas las etiquetas de clase, por lo que el factor de evidencia$PAGS\left(segundo\right)$与类标记无关
$$PAG\left({Un}_{}|segundo\right)=\frac{PAG\left(B|A_{}\right)PAG({Un}_{}}{{\sum }_{}PAG\left(B|A_{}\right)PAG\left({Un}_{}\right)}$$

problema de clasificación

Algoritmo bayesiano ingenuo (con explicación de ejemplo)

La fórmula bayesiana se puede expresar como:
$$PAG\left(y=C_{}|X=x\right)=\frac{PAG(X=x,y=C_{}}{pag(x=x)}=\frac{PAG\left(X=X|y=C_{}\right)PAG(y=C_{}}{pag(x=x)}$$
Suponiendo que cada atributo es independiente entre sí:
$$PAG\left(X=X|y=C_{}\right)=\prod _{yo=1}PAG\left(X^i=a_{}|y=C_{}\right)$$
Fórmula bayesiana ingenua: en el conjunto de funcionesxxBajo la condición de$x$$y$取不同值的概率。
$$PAG\left(y=C_{}|X=x\right)=\frac{PAG\left(y=C_{}\right){\prod }_{yo=1}^{}PAG(X^i=a_{}|y=C_{}}{pag(x=x)}$$
maximizará la probabilidad condicional $y$作为预测结果：
$$f\left(x\right)=\mathrm{argmax}\left(\frac{PAG\left(y=C_{}\right){\prod }_{C_{}}^{}PAG(X^i=a_{}|y=C_{}}{pag(x=x)}\right)$$
(el factor de evidencia es independiente de la etiqueta de clase) es decir,$pag(x=X)$可以省略
$$f\left(x\right)=arg\underset{C_{}}{}\left(PAG\left(y=C_{}\right)\prod _{yo=1}PAG\left(X^i=a_{}|y=C_{}\right)\right)$$
$$PAG\left(y=C_{}\right)=\frac{{\sum }_{yo=1}^{}I(y=C_{}}{norte},norte=1,2,\dots K$$
$$PAG\left(X^i=a_{}|y=C_{}\right)=\frac{{\sum }_{yo=1}^{}I(X_i^{}=a_{}|y=C_{}}{{\sum }_{yo=1}^{}I\left(y_{}=C_{}\right)}$$

Ejemplo de cálculo 1

Implementación de ejemplo de código del algoritmo bayesiano ingenuo (python)

precio A	Lección B	Ventas C	precio A	Lección B	Ventas C
Bajo	muchos	alto	0	2	2
alto	medio	alto	2	1	2
Bajo	pocos	alto	0	0	2
Bajo	medio	Bajo	0	1	0
medio	medio	medio	1	1	1
alto	muchos	alto	2	2	2
Bajo	pocos	medio	0	0	1

Precio previsto A=2 (alta) horas de clase B=2 (más) horas de ventas

from __future__ import division
from numpy import array


def set_data(price, time, sale):
    price_number = []
    time_number = []
    sale_number = []
    for i in price:
        if i == "低":
            price_number.append(0)
        elif i == "中":
            price_number.append(1)
        elif i == "高":
            price_number.append(2)
    for j in time:
        if j == "少":
            time_number.append(0)
        elif j == "中":
            time_number.append(1)
        elif j == "多":
            time_number.append(2)
    for k in sale:
        if k == "低":
            sale_number.append(0)
        elif k == "中":
            sale_number.append(1)
        elif k == "高":
            sale_number.append(2)
    return price_number, time_number, sale_number

price = ["低", "高", "低", "低", "中", "高", "低"]
time = ["多", "中", "少", "中", "中", "多", "少"]
sale = ["高", "高", "高", "低", "中", "高", "中"]

price_number, time_number, sale_number = set_data(price, time, sale)
print(price_number, time_number, sale_number)

$$P(C=0|X=x)\propto P(C=0\left)P\right(UN=2|C=0)P(B=2|C=0)$$
$$P(C=1|X=x)\propto P(C=1\left)P\right(UN=2|C=1)P(B=2|C=1)$$
$$P(C=2|X=x)\propto P(C=2\left)P\right(UN=2|C=2)P(B=2|C=2)$$

from __future__ import division

price_number = [0, 2, 0, 0, 1, 2, 0]
time_number = [2, 1, 0, 1, 1, 2, 0]
sale_number = [2, 2, 2, 0, 1, 2, 1]
exprice_number = 2
extime_number = 2

sale0p = sale_number.count(0)
sale1p = sale_number.count(1)
sale2p = sale_number.count(2)

a0 = 0
a1 = 0
a2 = 0
b0 = 0
b1 = 0
b2 = 0

for i in range(0, len(sale_number)):
    if price_number[i] == 2:
        if sale_number[i] == 0:
            a0 = a0 + 1
        elif sale_number[i] == 1:
            a1 = a1 + 1
        elif sale_number[i] == 2:
            a2 = a2 + 1

    if time_number[i] == 2:
        if sale_number[i] == 0:
            b0 = b0 + 1
        elif sale_number[i] == 1:
            b1 = b1 + 1
        elif sale_number[i] == 2:
            b2 = b2 + 1

pa0 = a0 / sale0p
pa1 = a1 / sale1p
pa2 = a2 / sale2p

pb0 = b0 / sale0p
pb1 = b1 / sale1p
pb2 = b2 / sale2p

pc0 = sale0p / len(sale_number)
pc1 = sale1p / len(sale_number)
pc2 = sale2p / len(sale_number)

pcc0 = pc0 * pa0 * pb0
pcc1 = pc1 * pa1 * pb1
pcc2 = pc2 * pa2 * pb2
indf = (pcc0, pcc1, pcc2)
print(indf)
max_indf = indf.index(max(indf))

if max_indf == 0:
    print('销量低')
elif max_indf == 1:
    print('销量中')
elif max_indf == 2:
    print('销量高')

publicación de blog citada

Ejemplo simple del algoritmo de clasificación Naive Bayesian
Algoritmo Naive Bayesian (con explicación de ejemplo)
Implementación de código del algoritmo Naive Bayesian (python)