Directorio de artículos
1. ¿Qué es la regresión lineal?
La regresión lineal es una técnica básica de modelado predictivo que se utiliza para establecer una relación lineal entre variables independientes y dependientes. El modelo tiene como objetivo encontrar una línea recta de mejor ajuste que minimice el error entre los valores predichos y reales. El supuesto básico del modelo de regresión lineal es que existe una relación lineal entre la variable independiente y la variable dependiente, y el término de error sigue una distribución normal.
En segundo lugar, la comprensión básica de la regresión lineal.
Se puede dar un ejemplo a través de este formulario
Valor propio: salario y edad
Objetivo: monto, predecir el monto del préstamo que me dará el banco
Reflexión: tanto el salario como la edad afectarán el monto, entonces, ¿cuáles son los pesos de los dos?
- entender
- x1 y x2 representan los dos valores característicos de salario y edad, respectivamente, y y representa la cantidad pronosticada
- Todo lo que tiene que hacer la regresión lineal es encontrar una línea adecuada que se ajuste a nuestros puntos de datos
Suponiendo que el coeficiente de salario es β1 y el coeficiente de edad es β2 ,
la ecuación de superficie ajustada es y=β1 x1+β2 x2+β0 (donde β0 representa el término de error).
El objetivo del algoritmo de regresión lineal es encontrar el línea recta de mejor ajuste, la línea recta Minimice la suma de las distancias de todos los puntos de datos desde la línea de regresión. Este proceso de minimizar la distancia se conoce como el método de los mínimos cuadrados.
3. Fórmula matemática
1. modelo
Supongamos que hay m muestras de entrenamiento, cada muestra de entrenamiento tiene n variables independientes y una variable dependiente, el vector se expresa como
- Matriz de variable independiente X=[x1,x2,x3…xn]
- La matriz de variables dependientes Y=[y1,y2,y3,...ym]
función de suposición del modelo de regresión es:- h(x)=θ0 + θ1x1 + θ2x2 + ... + θnxn
donde θ0, θ1, θ2, ..., θn son los parámetros a buscar. Combine la matriz de variables independientes X y el vector theta en un vector θ de (n+1) dimensiones:- θ = [θ0, θ1, θ2, ..., θn]
El vector de error de dispersión es ε, y cada error de muestra- ε = h(x) - y
El objetivo es minimizar la suma de cuadrados de los vectores de error:- J(θ) = 1/2m * ∑(h(xi) - yi)^2
2. Análisis de errores
El análisis de errores se utiliza para analizar el error entre los resultados de la predicción del modelo y los resultados reales. El análisis de errores puede ayudarnos a comprender las fortalezas y debilidades de un modelo y cómo mejorarlo.
El error ε es independiente y tiene la misma distribución, obedece a la distribución gaussiana con un valor medio de 0 y una varianza de θ ^ 2. Es un entendimiento popular que no existe una relación
entre
dos personas que vienen a verificar el monto
del préstamo. Misma distribución
La cantidad dada por el banco es adecuada en la mayoría de los casos, y hay muy pocas partes altas y bajas, que obedecen a la distribución gaussiana
- Objetivo: Haz que la función de probabilidad sea lo más grande posible, puedes usar la derivada parcial para hacer que la derivada parcial sea igual a 0
J(θ) = 1/2m * ∑(h(xi) - yi)^2
3. Método de evaluación
Los métodos de evaluación de los modelos de regresión lineal incluyen principalmente la validación cruzada y el método de retención. La validación cruzada consiste en dividir el conjunto de datos en k subconjuntos, uno de los subconjuntos se usa como conjunto de verificación y los subconjuntos restantes se usan como conjunto de entrenamiento, el modelo se entrena k veces y cada vez se usa un subconjunto diferente como conjunto de verificación, y finalmente los resultados de los k modelos se toman el promedio. El método de retención es dividir el conjunto de datos en conjunto de entrenamiento y conjunto de prueba, y usar el conjunto de prueba para evaluar después de entrenar el modelo.
Cuanto más cerca esté el valor de R^2 de 1, mejor será el modelo que pensamos
4. Descenso de gradiente
El descenso de gradiente es un algoritmo iterativo para resolver problemas de optimización. En la regresión lineal, el algoritmo de descenso de gradiente se usa para encontrar los parámetros que minimizan la función de costo. La idea del descenso de gradiente es ajustar continuamente los parámetros para que la función de costo se reduzca continuamente. En concreto, para la función objetivo J(θ), en cada iteración, el algoritmo de descenso de gradiente encuentra la dirección que hace que la función de coste disminuya más rápido calculando la derivada parcial de la función de coste con respecto a los parámetros, es decir, la inversa dirección del gradiente. Luego, los parámetros se actualizan de acuerdo con la dirección del gradiente y la tasa de aprendizaje α hasta que se alcanza el objetivo de minimizar la función de costo. En cada iteración, de acuerdo con la dirección del gradiente de los parámetros del modelo actual, el valor de los parámetros del modelo se ajusta hasta que se minimiza la suma de los errores al cuadrado.
- Objetivo:
θj = θj - α/m * ∑(h(xi) - yi) * xi(j) ... j representa el j-ésimo parámetro, m es el número de muestras, α es la tasa de aprendizaje, xi(j) representa el i-ésimo parámetro El valor de la j-ésima variable independiente de la muestra.- Procedimiento
Encuentre el punto final de la función objetivo de descenso de gradiente- Descenso de gradiente por lotes:
es fácil obtener la solución óptima actualizando todos los datos cada vez, pero la velocidad es muy lenta porque todas las muestras se consideran cada vez- Descenso de gradiente estocástico:
use aleatoriamente una muestra de datos cada vez, encuentre una muestra cada vez, la velocidad de iteración es rápida, pero no necesariamente en la dirección de convergencia cada vez- Descenso de gradiente de lotes pequeños
Actualice una pequeña parte de los datos de muestra cada vez, es más completo, se recomienda usar
datos de lotes: 32, 64, 128 están todos disponibles, pero se debe considerar la memoria y la eficiencia- Tasa de aprendizaje
La tasa de aprendizaje (tamaño de paso), que controla la duración de la iteración, tiene un gran impacto en el resultado, por lo que generalmente es menor y comienza con poco.
El algoritmo de descenso de gradiente puede caer en una solución óptima local y no puede alcanzar la solución óptima global. Por lo tanto, cuando usamos el algoritmo de descenso de gradiente, necesitamos hacer los ajustes apropiados a la tasa de aprendizaje y al número de iteraciones para evitar que el algoritmo caiga en una solución óptima local.
Cuatro Resumen
El algoritmo de regresión lineal es un modelo básico de aprendizaje automático que se puede usar para predecir resultados futuros o realizar una clasificación. En aplicaciones prácticas, podemos usar el método de mínimos cuadrados o el algoritmo de descenso de gradiente para resolver los parámetros del modelo y obtener los resultados de predicción óptimos. Al mismo tiempo, también debemos elegir modelos y algoritmos apropiados de acuerdo con conjuntos de datos y problemas específicos para obtener mejores resultados de predicción.
En la siguiente sección, escribiremos un modelo de regresión lineal por nosotros mismos y observaremos la influencia de una sola característica y varias características en el cambio del gradiente de pérdida de gradiente.
Espero que nos apoyen mucho, estudien mucho juntos y compartan más cosas novedosas e interesantes en el futuro.