La minería de datos: modelo de selección - aprendizaje supervisado (regreso)
En el artículo de minería de datos: selección del modelo - aprendizaje supervisado (clasificación) introduce el principio de algoritmos relacionados con la clasificación, esta vez para introducir un poco de algoritmos de regresión. La rentabilidad objetivo principal se predice los datos continuos.
Este artículo proviene de: Machine Learning Cai Cai aula
Una regresión lineal
Breve :
la respuesta corta, como la regresión lineal y = ax + b, que es el caso cuando sólo hay una función, y para una pluralidad de características, se convierte en una regresión lineal múltiple. La fórmula es como sigue:
esto corresponde a una θ valor de peso es la variable independiente, mayor será la influencia demostró características más importantes de los resultados. Mediante el cual característica de detección. Y nosotros pidiendo demasiado es este parámetro.
obras :
problemas generales de aprendizaje de máquina de la experiencia, en primer lugar definir la función de pérdida. Mediante la optimización de la pérdida de parámetros de la función de resolver.
Aquí una suma residual de cuadrados de los valores reales y predichos como para optimizar y pérdida de la función, es decir, cuando θ qué valor, lo convierten en un mínimo. Método de mínimos cuadrados
Hay dos métodos para resolver matriz solver utilizando el método de descenso de gradiente.
Matrix solucionador usando:
método de descenso de gradiente:
Los parámetros principales :
no hay parámetros pueden ser ajustados. Por lo que este modelo no se puede optimizar mediante el ajuste de los parámetros del modelo, que sólo se basan en los datos. Además, LR hacer la normalización / estandarización.
Algoritmo cuenta con :
Ventajas: fácil de entender resultado, no computacionalmente complejo.
Desventajas: ajuste no lineal de los datos no es bueno. Fácil de exceso de ajuste, ya que se busca la solución óptima.
Dado que la regresión lineal asumiendo una relación lineal entre las características y resultados satisfactorios .
Código sklearn :
from sklearn.linear_model import LinearRegression as LR
reg = LR().fit(Xtrain,Ytrain)
yhat = reg.predict(Xtest)
En segundo lugar, la cresta de regresión y el retorno Lasso
Regresión Ridge :
una breve introducción :
en múltiples derivación solver lineal, hay una matriz inversa, y si no existe la matriz inversa de datos (multicolinealidad entre datos, dependencia completamente lineal o correlación lineal de alta ), entonces los resultados de predicción y no es muy bueno. Encontrará una gran cantidad de theta modelos resultantes están sesgadas, o no está disponible.
Multicolinealidad disponible el (factor de inflación de la varianza medido) VIF. Además, con el fin de resolver el problema de multicolinealidad de regresión lineal, regresión Ridge y Lasso volver disponible.
Obras :
más puntos permanentes del cresta de regresión y pérdida de la función de regresión Lasso es una regresión lineal. Plus los coeficientes de regresión ridge norma L2, coeficientes Lasso más la norma L1.
Regresión Ridge :
función de pérdida Regresión Ridge:
después de una ventaja, no el número opuesto, no puede garantizar una larga en la matriz original 0 o matriz es invertible matriz diagonal. estableciendo el valor de un ser humano.
Los principales parámetros :
factor de regularización a. Como pequeña, entonces la ecuación original no funciona, la ω no efectiva. Si un grande, a continuación, hacer la regresión coeficientes cambiaron (un debilitamiento de la información ω representado originalmente).
Mediante el ajuste de los valores alfa, si no hay un cambio significativo en el modelo, entonces no hay datos de multicolinealidad. Si el aumento, indica la presencia de datos de multicolinealidad. valor alfa, ajustado por la varianza del modelo de desviación. Principalmente a través de la selección de validación cruzada. Aquí, una cresta de regresión con la validación cruzada.
regresión Lasso :
una breve introducción :
la función de pérdida Lasso:
Derivada de la función de pérdida.
A continuación, el alfa no afecta si una matriz es reversible. Lasso no puede resolver el problema de multicolinealidad.
Pero en problemas prácticos, ni los datos pertinentes por completo, no hay completamente independiente. Así, suponiendo que la matriz inversa siempre ha estado allí.
limitar el tamaño del parámetro alfa se puede evitar como resultado de Multicolinealidad w se sobreestima, lo que resulta en el modelo incorrecto. Lasso no puede resolver el multicolinealidad, pero puede limitar su impacto. factor alfa w ajuste de la compresión de los datos originales, se puede hacer función de selección de lazo.
L1 y L2 de regularización una diferencia núcleo es su impacto en los coeficientes: dos de tamaño regular voluntad factor de compresibilidad de los coeficientes de la contribución de la etiqueta menos características sería más pequeño, se comprime más fácilmente.
Sin embargo, L2 regularización solamente sea lo más cerca posible al coeficiente de compresión 0, pero L1 sparsity regularización dominante, y por lo tanto será comprimido a 0 coeficiente. Esta propiedad, deja Lasso se convirtió en la herramienta de selección de características modelo lineal de elección.
Seleccione el valor de alfa en Lasso, a través de la validación cruzada. LassoCV.
Eps con n_alphas. EPS tomado es pequeño.
Código sklearn :
from sklearn.linear_model import Ridge,Lasso
reg = Ridge(alpha=1).fit(Xtrain,Ytrain)
reg = Lasso(alpha=1).fit(Xtrain,Ytrain)
En tercer lugar, la regresión polinómica
de datos de datos lineales y no lineales :
relación lineal :
"lineal" es la palabra usada para cosas malas diferentes para describir cosas diferentes. Linear nuestros medios utilizados más comúnmente "variable de relación lineal entre la cantidad (relación lineal)", que representa la relación entre dos variables se puede mostrar como una línea recta, es decir, se puede utilizar para ecuación de ajuste. Vista general dibujando un diagrama de dispersión .
Datos Linear :
Típicamente, un conjunto de características y una pluralidad de etiquetas de datos. Cuando estas características son relación lineal con la etiqueta, se dice que este conjunto de datos a ser los datos lineales. Y la relación entre la etiqueta y cualquiera de las características requeridas trigonométrica, exponencial, etc., se define, llamada de datos no lineales.
Para los datos lineales y no lineales, el método de identificación más sencilla es utilizar el modelo nos ayuda - si se trata de la clasificación efectuada mediante regresión logística, si lo hace de regresión utilizando regresión lineal, si el efecto bueno que los datos es lineal, el efecto no es bueno datos no es lineal. Por supuesto, la reducción de la dimensión puede llevarse a cabo después de que el dibujo, dibujar una línea recta cerca a la distribución de imágenes, entonces los datos es lineal.
Linear diagrama, es explorar la relación entre las características y variable de destino.
Regresión:
problema de clasificación
, cuando llevamos a cabo la clasificación de nuestra toma de decisiones es a menudo una función de función a trozos, como la función de decisión puede clasificarse en dos función simbólica, función de signo imagen se puede expresar como un valor de 1 y -1 las dos líneas. Esto, obviamente, no cumple con nuestra función anterior puede ser usado para representar un atributo de la línea , por lo que la etiqueta función de clasificación [0,1], o la relación entre [-1,1] relación fuertemente no lineal . A menos que caben en la probabilidad de clasificación, de lo contrario no hay excepción.
Este es un mapa de datos, la ordenada es la característica horizontal. Donde el color es la variable de destino. Cuidado no encaja, pero si podemos encontrar una línea, separarlas.
En resumen, para los problemas de regresión, si la distribución de los datos es una línea recta, es lineal, de lo contrario no es lineal. Para problemas de clasificación, si la distribución de datos utilizando una línea recta para dividir la categoría, es linealmente separable, de lo contrario los datos son linealmente inseparable.
Los modelos lineales y no lineales modelos :
modelo de regresión lineal que hemos establecido, es un modelo lineal para los datos lineales.
Como representante típico del modelo lineal, podemos resumir las características de modelo lineal de la ecuación de regresión lineal de: sus argumentos son una vez artículos.
Lineal ajuste no lineal de modelo de datos :
los datos lineales modelos no lineales simples, R2 fácil de entrenar en el conjunto de entrenamiento muy alta, muy baja formación del MSE. Eficaz, fácil de exceso de montaje.
no lineal de datos se ajustan a un modelo lineal :
modelo lineal simple de datos no lineal no es bueno. Disponibles los datos del modelo lineal después de bins de transformación no lineal.
Son decisión modelo lineal límite es una línea recta paralela, y su decisión no lineal borde modelo de
frontera es una línea recta interactiva (rejilla), curvas como anular . Para el modelo de clasificación, este modelo es nuestro juicio es un factor importante para juzgar un lineal o no lineal: modelo lineal de límite de decisión es un línea recta paralela, el modelo no lineal de decisión curva de contorno es una línea recta o una cruz. Para la clasificación, el más alto poder de toma de decisiones de la variable independiente en la frontera si un modelo de clasificación es 1, entonces llamamos a este modelo es un modelo lineal.
Tanto lineales como también modelo no lineal
Tal como SVM, la SVM hay un modelo lineal nuclear, un modelo no lineal es nuclear.
El principal de toma de decisiones se ve en límite de espacio de dos dimensiones y en forma gráfica no son rectas.
Discretización :
usando binning discreta manera las variables continuas para procesar los datos en bruto con el fin de mejorar el rendimiento de la regresión lineal.
from sklearn.preprocessing import KBinsDiscretizer
#将数据分箱
enc = KBinsDiscretizer(n_bins=10 #分几类？
,encode="onehot")
Además, el número de sub-box está equipado puede afectar al rendimiento. Para seleccionar el número óptimo de cajas utilizando la validación cruzada. Otra forma más general los datos son no lineales de regresión polinómica. Principalmente mediante aumento SVM como Invensys quieren.
regresión polinómica :
por número (cambios polinómicas) aumentó de variable para lograr el efecto de modelo lineal L-dimensional.
cambio Polynomial los datos originales ajustados de modo que puede ser un modelo de ajuste lineal.
from sklearn.preprocessing import PolynomialFeatures
import numpy as np
X = np.arange(1,4).reshape(-1,1)
poly = PolynomialFeatures(degree=2)
X_ = poly.fit_transform(X)
X_
Los resultados obtenidos son como sigue:
En este caso, entonces el ajuste de regresión lineal. La regresión lineal es apto será cada característica un peso pesado, como
cuando nos ajustamos a los datos de alta dimensión, obtenemos el siguiente modelo:
mientras el ordenador está encendido, no entienden lo que es la intersección y coeficientes. Por lo tanto, será x0 coeficiente considerado. Así que, en general, no buscan la interceptación.
Más que en el caso de una sola dimensión de datos, y caso de dos dimensiones son como sigue:
Cuando transformación polinómica, polinomio cederemos el número más alto de todos los términos de orden superior hasta bajo . Por ejemplo, si especificamos polinomio es 2, se dará salida a todo polinomio número 1 y número 2 de la parte posterior artículo a nosotros, si nos fijamos el grado apropiado del polinomio es n, la salida se polinomio todo desde el número 1 n es el número del artículo.
regresión polinómica, podemos especificar si un cuadrado o cubo de hecho, si sólo se pide términos de orden superior, sería mejor que unos términos de orden superior, debido a la colinealidad entre X1X2 y X1X1 y que x1 x1 entre colinealidad bien un poco (sólo un poco), pero después de que se requiere la transformación polinómica utilizar el modelo de regresión lineal de ajuste, incluso si los supuestos básicos en el aprendizaje de máquina no está tan preocupado por los datos, pero demasiado del total lineal o afectarán el ajuste del modelo. Por lo tanto existe sklearn en la posibilidad de generar los parámetros de control interaction_only términos cuadrados y cúbicos, el valor predeterminado es Falso, para reducir la colinealidad.
ecuación de regresión polinómica por las dimensiones de los datos originales y el número de veces que creó la decisión. Por lo tanto, múltiples
regresión polinómica está no fija expresión modelo.
regresión polinómica problema no lineal :
from sklearn.preprocessing import PolynomialFeatures as PF
from sklearn.linear_model import LinearRegression
import numpy as np
d=5
#进行高此项转换
poly = PF(degree=d)
X_ = poly.fit_transform(X)
line_ = PF(degree=d).fit_transform(line)
#训练数据的拟合
LinearR_ = LinearRegression().fit(X_, y)
LinearR_.score(X_,y)
regresión polinómica puede ajustarse mejor a los datos no lineales, no es propenso a exceso de montaje, puede ser dicho para ser retenido como un modelo de regresión lineal traído " no es fácil de exceso de ajuste " y ** "** rápida computing", la la naturaleza, mientras que el logro de datos no lineales excelente ajuste.
regresión polinómica de motivos puede ser :
Cuando la conversión polinomio, aunque todavía formar una ecuación de regresión lineal de la forma, pero con el aumento del número de dimensiones de datos y ecuación polinómica se hace muy complejo, que puede no ser capaz de ver una característica después de característica aumento de dimensión es lo que la composición anterior. Antes de procesar el ejemplo característica, el método polinomio usado se deriva de una pluralidad de nuevas características.
Sin embargo, todavía existe la interpretabilidad de regresión polinómica, podemos nombrar las diversas características get_feature_names conectados a llamar a la nueva matriz de características generado utilizando para ayudarnos a explicar el modelo.
Efecto modelo lineal, aunque no como los bosques al azar, sino que corrió rápido ......
import numpy as np
from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import LinearRegression
X = np.arange(9).reshape(3, 3)
poly = PolynomialFeatures(degree=5).fit(X)
#重要接口get_feature_names
poly.get_feature_names()#打印特征名称
Modelo lineal o no lineal?
No lineal: modelo original
después de cambiar el nombre de la característica: lineal
entiende aquí estrechar modelo lineal y lineal generalizado modelos .
Limitar modelo lineal : desde lo alto de esta variable no puede, no puede existir en relación no lineal entre las variables independientes y etiquetas. ( Variable independiente es el tiempo )
modelos lineales generalizados : el tiempo que la relación entre la etiqueta y los parámetros del modelo empotrados es modelo lineal es lineal. Se dice que mientras no multiplicada o dividida entre una serie de W genera una relación, creemos que el modelo es lineal. ( Coeficiente w es el tiempo )
Resumir, modelo de regresión polinómica se considera generalmente que es no lineal, pero es un tipo especial de modelo lineal generalizado , puede ayudar a hacer frente a los datos no lineales, es una evolución de la regresión lineal.
Locos cambios polinómicas aumentar la dimensión de datos, sino que también aumenta la probabilidad de exceso de montaje, y por lo tanto cambiar el polinomio se puede tratar con múltiples modelos de ajuste como la regresión cresta lineal, Lasso y similares se utiliza conjuntamente , y el efecto de usar una regresión lineal consistente.
IV Resumen
de regresión lineal múltiple , regresión ridge , Lasso y regresión polinómica total de cuatro algoritmos, que son todos alrededor de la expansión de regresión lineal original y mejoras.
¿Qué cresta de regresión y Lasso es abordar las restricciones a la utilización de método de regresión lineal múltiple de los mínimos cuadrados, el objetivo principal es eliminar la influencia de la co-linealidad causada por la función de selección múltiple y haciendo.
regresión polinómica para resolver las deficiencias evidentes de la regresión lineal no se ajusten los datos no lineales, el papel de núcleo es para mejorar el rendimiento del modelo.
Debido a esto se deduce también en el aprendizaje, por lo que este acaba de tomar notas. Ya habrá tiempo más adelante para ordenar de nuevo.
