1. Clasificación
2. Declaración de hipótesis
función sigmoidea = función logística
Asumiendo el método de representación de la función:
3. Límite de decisión
El límite de decisión es el atributo de la función de hipótesis, que depende de la función de hipótesis en sí y de sus parámetros θ , en lugar de los atributos del conjunto de datos. El conjunto de entrenamiento se utiliza para ajustar el parámetro θ.
4. Función de costos
En regresión logística, si se usa una función de costo cuadrado, es probable que la función de costo aparezca como una función no convexa debido a la no linealidad de la función sigmoidea incluida en la función de hipótesis, por lo que es difícil encontrar el valor óptimo global . Por lo tanto, necesitamos reemplazar otra función de costo para que la función de costo aparezca como una función convexa (convexa), de modo que el valor óptimo global se pueda encontrar usando el algoritmo de descenso de gradiente .
5. Simplificar la función de costos y el descenso de gradientes
La función de costo en la figura anterior se obtiene a partir de estadísticas utilizando el método de máxima verosimilitud, que puede encontrar rápidamente parámetros para diferentes modelos, y es una función convexa, por lo que la mayoría de la gente la usa para ajustar un modelo de regresión logística. Función de costo.
Las funciones de costo de la regresión lineal y la regresión logística parecen ser las mismas, pero de hecho, sus funciones hipotéticas son diferentes, por lo que se necesita una atención especial aquí. En la regresión lineal, la función de hipótesis es θ transponer * x, mientras que en la regresión logística, la función de hipótesis incluye la función sigmoidea.
6. Optimización avanzada
Los algoritmos de optimización más avanzados, como el gradiente conjugado, BFGS, L-BFGS, tienen ventajas sobre los algoritmos de descenso de gradientes en el sentido de que no necesitan seleccionar manualmente la tasa de aprendizaje y pueden ejecutarse más rápido, pero estos algoritmos serán más complicados de entender algunos.
7. Clasificación Muti-class: uno a muchos
Clasificación muti-class: uno contra todos
