aprendizaje Automático
generalidad
-
categorías básicas: aprendizaje supervisado (clasificación, regresión), aprendizaje no supervisado (clustering, reducción de dimensionalidad), el aprendizaje semi-supervisado (sección etiquetada de datos y datos no etiquetados), mejorado (mejorado) del aprendizaje, el aprendizaje profundo (basadas en la red neural clasificación y regresión), el aprendizaje de transferencia (en la ausencia de datos a migrar a otras áreas del conocimiento a otra área), estructurado aprendizaje (de salida es el objetivo , además de las cuestiones que no sean de regresión y clasificación, tales como la recuperación de información, objeto coincidente)
-
Sickit-aprender clasificación de la función común
| | Solicitud | algoritmo |
| --------------------------- | -------------------- | --------------- |
| Clasificación (Clasificación) | detección de anomalías, reconocimiento de imágenes | KNN, SVM |
| La agrupación (Clustering) | segmentación, otras poblaciones podrían dividirse | K-means, espectral Clustering |
| Regresión (regresión) | precio de la previsión, predicción de tendencia | regresión lineal, SVR |
| Reducción de dimensionalidad (Dimensión Reducción) | visualización | PCA, NMF |
-
Libros y cursos: Machine Learning Zhou Zhihua, cursos en línea PRML-Bishop: Andrew Ng, cs231n Stanford, aprendizaje por refuerzo David plata
-
Clasificación de tareas (Clasificación): salida del modelo es un vector (Vector)
Paquete de módulos de función de regresión: sklearn.linear_model (función principalmente lineal) y sklearn.preprocessing (función principalmente no lineal)
Clasificación aplicaciones algoritmo:
Financiación: créditos para evaluar si aprueba la
Médico Diagnóstico: análisis de un tumor maligno o benigno es
Detección de fraude
Analítica Web: Categoría páginas de juicio
| Categorías modelo | módulo de carga | uso |
| ---------- | ---------------------------- | -------------------------------------------------- ------- |
| Algoritmo del vecino más cercano | neighbors.NearestNeighbord | ajuste () utilizando los datos de entrenamiento, predecir la función |
| SVM | svm.SVC | |
| Naive Bayes | naive_bayes.GaussianNB | |
| Árbol | tree.DecisionTreeClassifier | cross_val_score 10 utilizando la validación cruzada, el uso conveniente y predecir verificar |
| Enfoque integrado | ensemble.BaggingClassifier | |
| Red Neuronal | neural_network.MLPClassifier | |
-
tarea de retorno (Regresión): principalmente módulo linear_model, la salida del modelo es un valor numérico (escalar)
| módulos de carga | Regresión |
| ---------- | -------------------------------------------------- ---------- |
| Regresión contraída | linear_model.Ridge |
| Lasso Kai 归 | linear_model.Lasso |
| Red resistente | linear_model.ElasticNet |
| Ángulo de regresión mínimo | linear_model.Lars |
| Regresión bayesiana | linear_model.BayesianRidege (bayesiano Naive Bayes clasificador gaussiano, modelo polinomial, multivariados Bernoulli Bayes ingenuo) |
| Regresión logística | linear_model.LogisticRegression |
| Regresión polinómica | prprocessing.PolynomialFeatures |
-
La agrupación de tarea: El grupo principal a base de módulo, la distancia euclidiana, la distancia Manhattan, la distancia de Mahalanobis, similitud coseno
| módulos de carga | Clustering |
| -------- | ------------------------------- |
| K-means | cluster.KMeans |
| AP La agrupación | cluster.AffinityPropagation |
| Desplazamiento medio | cluster.MeanShift |
| La agrupación jerárquica | cluster.AgglomerativeClustering |
| DBSCAN | cluster.DBSCAN |
| ABEDUL | cluster.Birth |
| Espectral agrupación | cluster.SpectralClustering |
sklearn.cluster
| Nombre del Algoritmo | parámetros | escalabilidad | similitud medida |
| ---------------- | ------------------------ | ------------------------------ | ---------------- |
| K-means | número de clúster | datos de gran tamaño | punto de paso |
| DBSCAN | tamaño de barrio | masivo de datos | terreno de juego |
| Mezcla de Gauss | número de clúster y otros parámetros | alta complejidad y no es adecuado para el procesamiento de datos a gran escala | distancia de Mahalanobis |
| Abedul | factor de ramificación, umbral y otra hyperparametric | datos de la escala | distancia euclídea entre dos puntos |
-
reducción de la dimensionalidad de tareas: La principal descomposición basada módulo, la reducción de la visualización de datos y datos
| Tarea de reducción de dimensionalidad | módulos de carga |
| ------------ | --------------------------------------- |
| Análisis de Componentes Principales | decomposition.PCA |
| Truncado SVD y LSA | decomposition.TruncatedSVD |
| Diccionario de aprendizaje | decomposition.SparseCoder |
| Análisis de Factores | decomposition.FactorAnalsis |
| ICA | decomposition.FastICA |
| NMF | decomposition.NMF |
| LDA | decomposition.LatentDirichletAllocation |
| nombre del algoritmo parámetros | | | escalabilidad tareas aplicables |
| -------- | -------------------- | ------------ | ------------------ |
| | PCA las dimensiones de la gota y otros hyperparametric | datos a gran escala | procesamiento de señales |
| | FastICA las dimensiones de la gota y otros hyperparametric | datos a gran escala de ultra | extracción de características de imagen gráfica |
| NMF | las dimensiones de la gota y otros hyperparametric | datos a gran escala | extracción de características de imagen gráfica |
| | LDA las dimensiones de la gota y otros hyperparametric | datos a gran escala | tema de minería de datos de texto |
-
Formación y las pruebas de datos
. Un conjunto de entrenamiento (conjunto de entrenamiento): caso constituyen un conjunto de experiencias de aprendizaje supervisado;
. Equipo de prueba B (equipo de prueba): procedimientos de evaluación de efecto supuesto establecido;
. Conjunto de validación C (conjunto de validación): Super ajustar los parámetros del juego de cajas de las variables; variables de parámetros súper modelo de control de la forma de aprender;
. D supervisado observaciones divididas en tres partes: el aprendizaje del conjunto de entrenamiento (50%) y el equipo de prueba (50%), conjunto de validación (25%);
e sobreajuste (overfitting) vs underfitting: medios overfitting un mejor ajuste se puede obtener en el supuesto de que el conjunto de entrenamiento, en el conjunto de carcasa exterior del conjunto de entrenamiento no puede encajar bien los datos ; debido a la presencia de ruido o datos de entrenamiento demasiado pequeños; regularización (regularización) puede reducir el grado de exceso de ajuste;
. F "a la basura, la basura es": supervisado necesidad de aprendizaje a utilizar un representante, etiquetar el conjunto de datos correcto para la formación; y más sin buenos datos, pero un buen efecto de entrenamiento no es necesariamente mejor que menos datos.
. G validación cruzada: las múltiples algoritmo veces con la misma formación y los datos de prueba, porque el conjunto de entrenamiento no es tiempo suficiente; conjunto de entrenamiento de datos en N bloques, con un bloque de algoritmo de entrenamiento N-1, a continuación, una prueba final
-
Evaluación de impacto - la desviación y la varianza
. Un aprendizaje supervisado, los dos indicadores básicos para evaluar el error de predicción: sesgo (sesgo) y la varianza (varianza); alta varianza es sobre-ajuste de los datos de entrenamiento, la desviación es lo suficientemente alto para adaptarse a la actuación;
desviación b - varianza equilibrio: dos tienen ahora de nuevo en la característica inversa, un índice reducido, otro indicador se incrementará;
. C aprendizaje no supervisado: no error de predicción, parte de la estructura de propiedades de datos de evaluación; método de evaluación para la tarea específica;
. D evaluación sin supervisión, por ejemplo - para predecir el cáncer (TP verdadero positivo (verdaderos positivos) + verdaderos negativos TN (verdaderos negativos) + FP de falsos positivos (falsos positivos) + falsos negativos FN (falso negativo)):
exactitud evaluación Precisión = (TP + TN) / (TP + TN + FP + FN); es decir, positivo verdadero y verdadero predictivo negativo en la clasificación anterior
precisión precisión maligno = TP / (TP + FP)
recordatorio Recall = TP / (TP + FN)
Recordar más que reúnen los requisitos reales de otros indicadores;
-
Regresión Ridge: resolver regresión lineal simple distorsión matriz dispersa resultante valores X ^ t x
Optimizado para:
$$
argmin || X t-y || 2 + || a || a ^ 2
$$
El correspondiente método de solución de matriz:
$$
w = (X TX + ai) -1x ^ TY
$$
-
Aprendizaje por refuerzo es un programa o agente (agente) por el objetivo continuamente interactúan con el ambiente de aprendizaje, el aprendizaje es maximizar la rentabilidad acumulada; aprendizaje por refuerzo es un aprendizaje de ensayo y error, ya que en varios estados (medio ambiente) necesidad de tratar tratar todas las acciones que se pueden seleccionar para determinar los méritos de la acción por el medio ambiente dado la reacción y, en última instancia, la relación de mapeado entre el medio ambiente y el funcionamiento óptimo (es decir, la estrategia)
-
Proceso de Decisión de Markov (MDP)
elementos básicos MDP
$$
\ S \ epsilon S: conjunto finito de estado de estado, S representa un estado particular
a \ epsilon A :: recogida acción acción limitada, una representación de una acción particular
T (S, A, S ") ~ Pr (s '| S, A): un modelo de transición de estado, de acuerdo con el estado actual s y la acción un estado próximo predicho s, donde P representa la acción de un producto a s de s' probabilidad.
$$
-
Herramientas de aprendizaje de máquinas grandes cantidades de datos: LIBLINEAR y la chispa MYLIB
