Théorie de la décision bayésienne
Probabilité postérieure
Perte attendue
Risque conditionnel
Minimisez le risque global
h (x) est une hypothèse de mappage de l'espace total de l'échantillon à y
Règle de décision de Bayes
Afin de minimiser le risque global, il suffit de sélectionner l'étiquette de catégorie sur chaque échantillon qui minimise le risque conditionnel.
Classificateur optimal de Bayes (classificateur optimal de Bayes): h *
Risque de Bayes (risque de Bayes): R (h *)
Meilleure performance bayésienne: 1-R (h *)
Perte de jugement erroné: λij
Le mauvais jugement est 1, le bon est 0
Deux stratégies pour calculer la probabilité postérieure
Modèle discriminant
给定X，通过质检建模来预测c
比如决策树、BP神经网络、支持向量机
Modèle génératif
通过联合概率来计算
Probabilité conditionnelle de classe: vraisemblance (probabilité conditionnelle de classe)
Estimation du maximum de vraisemblance
Deux écoles d'estimation des paramètres
Fréquence Attention School: Estimation du maximum de vraisemblance
École bayésienne
Log-vraisemblance
Obtenir la moyenne et la variance de la distribution normale par la méthode du maximum de vraisemblance
Classificateur Naive Bayes
Supposons que tous les attributs soient indépendants les uns des autres: la taille et la couleur de la pastèque ne sont pas liées
Prenons l'exemple de la classification des pastèques
Étape 1: Estimer la probabilité préalable de classe (le rapport des bons melons / mauvais melons dans l'échantillon)
Étape 2: Pour les attributs discrets: Calculez la probabilité conditionnelle estimée de chaque attribut (le rapport de l'attribut dans le bon melon / la mauvaise gourde).
Pour l'attribut continu: calculez la densité de probabilité de la valeur, et calculez-la par distribution gaussienne Calculez la moyenne et la variance, puis utilisez la formule de distribution gaussienne pour calculer.
Étape 3: Calculez l'expression bayésienne des bons et des mauvais melons, calculez et comparez la probabilité des bons et des mauvais melons.
Correction de Laplace
Le classificateur bayésien est déraisonnable: s'il y a des données qui ne sont pas apparues, la probabilité est jugée égale à 0. Ce n'est pas raisonnable.
P = Dc + 1 / D + N pour que la fréquence soit corrigée en probabilité
## Méthode d'utilisation Naïve Bayes:
exigence de vitesse élevée: méthode de table de
consultation Le remplacement des données de tâche est fréquent: les
données d' apprentissage paresseux augmentent: apprentissage incrémentiel
Classificateur semi-naïf de Bayes
L'indépendance ne tient pas nécessairement, les attributs dépendent les uns des autres
Estimation indépendante des dépendances (ODE)
Chaque attribut ne dépend que d'un autre attribut
pai: l'attribut dont dépend l'attribut xi, appelé l'attribut parent de xi
Méthode SPODE (Super Parent ODE)
Arbre couvrant maximal pondéré TAN
Calculer des informations mutuelles conditionnelles entre deux attributs
Construire un graphique complet
Construire un arbre couvrant pondéré maximum
Bords dirigés
### Classificateur semi-naïf de Bayes: AODE (estimateur moyenné dépendant)
Réseau bayésien: Réseau de croyances
Graphique acyclique dirigé, illustrant la relation de dépendance entre les attributs
Séparation dirigée
- Recherchez la structure en forme de V, puis ajoutez un bord non orienté entre les deux nœuds parents de la structure en forme de V
- Changer toutes les arêtes dirigées en arêtes non orientées
- Graphique moral, le processus de connexion du nœud parent est appelé "moralisation"
Réseau bayésien: apprentissage
Utiliser une fonction de notation pour évaluer l'adéquation du réseau bayésien aux données d'entraînement
Algorithme EM
Traitez le problème lorsque l'échantillon est incomplet.
Variable latente: Variable latente
Algorithme EM itératif
