Distinction régression logistique (régression logistique) régression linéaire (régression linéaire) de
Régression logistique
- Utilisé dans la classification
- En plus de résoudre le problème de classification binaire, vous pouvez également résoudre les problèmes multi-classification.
- Régression logistique est discret. Par exemple, pour prédire le temps demain - ciel couvert, exposé au soleil, à la pluie. La classification est marquée avec une étiquette pour quelque chose, généralement en raison de valeurs discrètes. Par exemple, pour déterminer l'animal sur l'image est un chat ou un chien, généralement classification est basée sur la régression, la classification de la dernière couche utilise généralement fonction softmax pour juger de leur catégorie. La classification et aucune notion d'approximation, et , finalement , il n'y a qu'un seul résultat correct, faux est faux, il n'y aura pas de concept similaire. La classification la plus commune est la régression logistique, ou appelez classification logique.
- La logistique de régression appartient toujours à la catégorie de régression linéaire, car l'interface est linéaire et la régression logistique est un modèle linéaire généralisé (GLM) ou appelé modèle log-linéaire (LLM);
- La logistique de régression logarithmique probabilité maximale, faire une pente positive à la direction de descente de gradient, mais parfois d'être cohérent avec la régression linéaire, en prenant souvent le log-vraisemblance négative;
- En général, LR fait référence la logistique de régression, plutôt que la régression linéaire;
- La régression logistique et de régression Softmax fait vraiment la classification de choix, parce que la méthode est simple, facile à mettre en œuvre, fonctionne bien, est facile à expliquer, à l'exception de la classification, les systèmes de recommandation peuvent également être utilisés;
- fonction d'activation est une fonction sigmoïde, la régression linéaire comprise comme étant une fonction sigmoïde normalisée, la fonction sigmoïde est mappée sur l'intervalle réel [0,1]. estimations des paramètres de régression logistique sur la résolution de cet inconnu dit. Si les données pour prédire une classe inconnue à laquelle appartient x, juste dans la fonction sigmoïde suppose, la méthode la plus simple de la décision, si la valeur est comprise entre 0,5 et 1, appartenant à la classe 1, appartiennent par ailleurs à la catégorie 0.
La régression logistique en utilisant l'idée de classement multiple est: Choisissez une catégorie comme échantillons positifs, d'autres échantillons classés comme négatifs pour créer un modèle de classification binaire, et ainsi de construire plus (il existe plusieurs catégories pour construire quelques-uns) modèle binaire; à la valeur de sortie de plus de deux modèle de classe pour comparer la taille de l'échantillon classé comme valeur de sortie maximale de cette classe.
Régression linéaire
- Retour à résoudre le problème, habituellement utilisé pour prédire une valeur. Comme prix des maisons les conditions météo prévues futures et ainsi de suite, par exemple, le prix réel d'un produit est de 500 $, par l'analyse de régression, la valeur prédictive de 499 yuans, nous pensons que c'est une bonne analyse de régression. La valeur de retour est une approximation de la prédiction réelle.
- L'échantillon peut être non linéaire, aussi longtemps que les paramètres est linéaire, peut être utilisé. L'expression de la forme y = w'x + e, e est l'erreur est normalement distribuée avec une moyenne de 0. Car il n'a pas d'importance si x est linéaire, mais il faut parfois faire fonction de sélection;
- minimum de vraisemblance logarithmique de régression linéaire, la descente de gradient, ce faisant, à la direction du gradient négatif;
Logistique et Softmax régression
Référence Bowen:
Le concept de base de la régression logistique
La régression logistique est un modèle de régression linéaire généralisé, couramment utilisé dans l'extraction de données, la prévision économique et d'autres domaines.
Régression logistique appartiennent à problème de classification binaire en substance, est la deuxième classe a supervisé le modèle de classification basé sur la fonction sigmoïde (également connue sous le nom « fonction de type S ») de.
formule de fonction sigmoïde est:
:( sa forme dérivée d'une note, forme dérivée sera utilisé à un stade ultérieur)
fonction sigmoïde illustré ci-dessous duquel une image qui est comprimée dans la plage comprise entre 0 et 1.
Nous savons qu'il ya des problèmes à la classification supervisée des échantillons de formation avec des étiquettes de catégorie, le z correspondrait à un échantillon des informations de jeu de formation. Et l' information d' échantillon est généralement exprimée par une combinaison linéaire d'une série de caractéristiques, à savoir,
Dans lequel représente n fonctionnalités,
un poids de chaque représentant poids d'entités caractéristiques correspondantes du degré d'importance,
il est le décalage, la formule ci - dessus est généralement écrite sous forme de vecteur:
(
correspondant à
égale 1). Ainsi , la fonction sigmoïde peut donc être écrit sous la forme suivante:
Supposons que nous savons qu'un certain nombre de valeurs de caractéristiques correspondant aux échantillons et les paramètres poids, tant qu'il est dans l'équation ci - dessus pour obtenir un nombre compris entre 0 et 1, est généralement considéré comme appartenant à la catégorie positive, négative et vice versa appartenant à la catégorie, à savoir la en fait, le nombre reflète la probabilité que l'échantillon appartient à la catégorie positive.
La question est maintenant, nous avons un ensemble de formation des mains que l' échantillon sont connus, et les paramètres du modèle ne sont pas connus. Nous devons déterminer la valeur inconnue dans l'ensemble de la formation. Une fois déterminé, chaque fois face à un nouvel échantillon, nous sommes en mesure de cartographier la jetée
, selon que le résultat est supérieur à 0,5, Breezy pour obtenir des échantillons de la nouvelle catégorie.
