INTRODUCTION:
Récemment commencé à apprendre « l' apprentissage de la machine », l'enseignant avait entendu le nom du pays d'île CHANG, n'a pas le temps de regarder ses cours. Après avoir écouté une leçon aujourd'hui, je me sens bien, facile à comprendre, mais peut saisir la clé, mais aussi au milieu avec quelques exemples très intéressants à approfondir l'impression des étudiants.
Liens vidéo (bilibili): CHANG Machine Learning (2017)
chez les étudiants d'addition ont été déterminés à faire sténographie et mises à jour sur github: notes d' apprentissage machine CHANG (LeeML-Notes)
Ainsi, l'enregistrement suivant mes notes que quelques - uns de mes propres résumé et des conférences au moment de confusion, s'il y a un ami peut me aider à satisfaire des expositions.
Tout d'abord, où l'erreur de? Comment faire face à ces erreurs?
Peut connaître de la première leçon, le modèle plus complexe ne conduit pas nécessairement à réduire l'erreur (erreur). Erreur de deux aspects:
- Déviation (biais)
- Écart (variance)
Si vous pouvez diagnostiquer la source de l'erreur, vous pouvez choisir la méthode appropriée pour améliorer leurs modèles.
Vous voyez ici , j'ai une certaine confusion, l' erreur, l' écart, les sons de la variance trop comme, à la fin quelle différence cela fait - il?
[Ici n'a rien à voir avec l'apprentissage de la machine: la figure 1 est vraiment très rare, il y a sans le vouloir dans un sentiment d'être un des aspects de gestion, avec le haut diagramme montre un bon leadership (prise de décisions stratégiques) à gauche et bon personnel (couche d'exécution tactique) , représente le coin supérieur droit avec un bon leadership (prise de décision stratégique) la différence entre l'employé (couche d'exécution tactique) dans le coin inférieur gauche de la figure montre la différence avec la direction (prise de décisions stratégiques) et bon personnel (couche d'exécution tactique) et à droite coin inférieur de la figure montre la différence avec la direction (prise de décisions stratégiques) la différence entre l'employé (couche d'exécution tactique). De cela , il peut être vu, une bonne décision stratégique importance! ] Des
modèles simples (par exemple, les équations linéaires) causées par des taux de variance modèle complexe (par exemple, l' équation cinq) ont apporté variance plus petite. figure 4.
Bien que le modèle simple aide à la variance de contrôle, mais si le début de la plage sélectionnée ne comprend pas f ^, alors f * causé par l' écart est également très susceptible d'entraîner des erreurs. 5.
- Si l'erreur de l'écart, il est souvent dans l'ensemble de la formation underfitting (underfitting)
- Si la variance d'erreur puis overfitting sur souvent l'ensemble de la formation (surapprentissage)
besoin d'apprentissage de la machine à comprendre une chose: Où est l'erreur de? Si l'écart, alors comment faire? Si la variance, alors comment devrions - nous faire? 7. - Lorsque le temps underfitting (données non un bon ajustement f ), il est l'écart par rapport à cette fois -ci devrait être remanié modèle, parce que f ^ f ne sont pas inclus
- Lorsque le surajustement, il vient un écart d'erreur, cette fois il y a deux façons:
- Amélioration des données: presque une panacée, pas mal parti pris, mais il y a un inconvénient est le coût trop élevé
- Régularisation: il peut être une courbe lisse
En second lieu, choisir le modèle du processus de choses à noter
En général , nous pouvons trouver un équilibre entre le biais et la variance afin de trouver un modèle approprié. Mais assurez - vous de ne pas faire quelque chose comme ceci:
modèle de choix direct avec tous directement les ensembles de formation, de sorte que vous obtenez l'erreur sur l'ensemble de test ne reflète pas la réelle erreur sur l'ensemble de test. 8.
Alors , comment devons - nous faire?
- Validation croisée: l'ensemble de la formation en ensembles de formation et de validation (ensemble de validation), avec les deux premiers jeux du modèle d'erreur sélectionné est relativement faible, puis prendre son jeu de test pour comparer l'ampleur de l'erreur. Si vous pensez que la première étape est elle - même pas grand , mais aussi les points de consigne de formation, puis de nouveau, vous pouvez choisir le modèle approprié pour l'ensemble d'apprentissage, puis confirmez. Ainsi , vous pouvez essentiellement refléter le modèle d'erreur de jeu de test dans un ensemble réel de test. 9.
Si vous êtes inquiet au sujet de votre propre sous-ensemble de tests peuvent apporter écart, vous pouvez faire la N fois la validation croisée, l'ensemble de la formation en groupes de petite formation ensemble 1, 2 petit ensemble de formation, petit ensemble de validation, puis obtenir la plus petite erreur dans le modèle vous pouvez poursuivre la formation sur le montant de l'ensemble de la formation. 10.
Ici professeur CHANG spécifiquement mentionné, certains modèles dans l'ensemble de la formation, si la performance d'écart sur l'ensemble de test est relativement grande, ne vont pas en arrière et sélectionner les performances d'erreur de grands modèles, car ils sont susceptibles de présenter sur l'ensemble de test privé une plus grande erreur.