navegación de páginas blog personal (haga clic a la derecha de enlace para abrir un blog personal): Daniel lo lleve en la pila de tecnología
principios geométricos de las redes neuronales artificiales
(Principio geométrico de redes neuronales artificiales)
Este artículo examina la red neuronal artificial compuesta de redes neuronales comunes únicamente RMB (CNN y no RNN), y sólo se discute la clasificación única capa (oculta) se trata de una escena clásica más fáciles nervios RELU.
El acuerdo básico
Con el fin de facilitar la discusión y una imagen de la función de activación se utilizan en todo relu, el vector X de dos dimensiones original es de entrada.
Ejemplo 1
La siguiente figura muestra una red neural simple, la capa de entrada que comprende dos nodos, dos nodos de la capa de salida, la capa oculta y tres nodos. La red se puede utilizar para resolver el problema de clasificación binaria para el vector de entrada de dos dimensiones, la probabilidad de que dos clasificaciones de su salida.
- capa de entrada - 2-dimensional vector X
- capa oculta (primera capa) - capa relu (3 neuronas)
- Una capa de salida (segunda capa) - capa Softmax (2 neuronas, clasificación binaria)
La siguiente figura muestra se supone que la distribución de la muestra, hay dos características de cada muestra (eje de abscisas los valores X0, cuyos valores de las ordenadas X1) que pertenecen a uno de rojo, verde, y dos clasificaciones (color). Muestra verdadera línea divisoria es un círculo.
En el caso en que la siguiente muestra la red después de aprendizaje (se omite el proceso de aprendizaje) para obtener resultados óptimos, que la red neural en la zona gris de la muestra es rojo, la muestra fuera de la región del verde gris, identificación clasificación precisión fue del 95%. (Instrucciones TensorPlayground experiencia del proceso de aprendizaje)
- neuronas próximos tres RELU en esta distribución es óptima hexagonal gráfico límite
¿Por qué puede una red neuronal tan simple, para lograr este efecto que (los límites del hexágono gráficos)? El siguiente artículo desde el punto de vista geométrico para elaborar su principio interno, por lo que la red neuronal artificial ya no es un cuadro negro.
Sola neurona RELU
- W, X son vectores
- parámetro Bias Bias para la neurona de entrada X, los pesos W para el parámetro neuronas peso Peso, b para las neuronas
Aquí, sea W, X son el vector de 2 dimensiones, y dejar que W = [1,5, 3,5], b = -2,5, que es una imagen de la siguiente manera:
- (Tenga en cuenta que la escala del mapa y X0 eje Z, X1 eje inconsistente)
Relu sola neurona cuya entrada es n-dimensional espacio X bajo el n + 1 de la cámara de alta dimensional (para hacer la dimensión recién agregado Z) genera un hiperplano, el hiperplano se pliega entonces a lo largo de la Z = 0, llamado superficie ultra-pliegue
ángulo Ultra-off de la superficie
W se determina por los parámetros
(Espacio de alta dimensional)
- ángulo obtuso Siempre
superficie de Super hierro línea de plegado posición de Z = 0 pliega sobre el hiperplano
W se determina por los parámetros y el parámetro b
(Espacio de alta dimensional)
Constante * Súper arrugada
C * Z
dirección del eje Z en la inversión dibujo y contracción,, va a cambiar el ángulo de la superficie plegada, que no cambia la posición de la línea de plegado
- 1 <C ➡️ estiramiento, plegado ángulo de la superficie se hace más pequeño (más pronunciado)
- 0 <C <1 ➡️ contracción, ángulo de la superficie aumenta off (aplanada)
- C <0 ➡️ invertida, volteado de la faz
C = 2
C = 0,6
C = -1
C = -2
C = -0.6
superficies de plegado de superficie de Super Ultra plegadas +
Z0 + Z1
La primera línea de plegado de acuerdo con una superficie plegada segunda superficie de doblado dobla de nuevo, y dos superficies plegadas de tal manera que el ángulo original se hace más pequeño (más pronunciado)
No cambia más en la línea de doblez superficies súper posición de Z = 0 en el hiperplano, pero con la parte doblada de la línea de doblez, hacia fuera de la hiperplano original de Z = 0
=
La primera capa de neuronas relu
Adición de una pluralidad de lineal de ultra-off superficie (después de un ángulo de visión)
- Hn para el resultado n-ésimo después de la operación relu de las primeras neuronas de la capa
n neuronas ➡️ generan en la línea de plegado sobre el n hiperplano Z = 0, y se pliegan en un espacio de alta dimensión
- línea de Super pliegue determinada por la posición de una única neurona de la primera capa, y la capa de parámetros independientes
- Después de parámetro de la capa W determinar el ángulo de plegado con respecto a la superficie de cada super-off
- Después de una capa b parámetro determina la posición de toda la superficie de la super compuesto fuera a lo largo del eje Z (movimiento vertical)
plano de división recto
n hasta las líneas rectas planas se divide en secciones
d dividiendo los hiperplanos espacio n-dimensional
n hiperplanos hasta espacio d-dimensional se divide en f parcial (d, n)
Softmax bajo la clasificación binaria
SoftMax (X) convierte el valor de la probabilidad de vector X, independientemente en cada posición de índice del evento (0-1)
Para los términos clasificación Softmax binarios, la red es en realidad el resultado de la capa anterior dos conjuntos de adición lineal, el valor resultante se establece más grande como el resultado de predicción
Aquí para hacer alguna transformación, con R1 - R0 y 0 tamaño, de la comparación de dos alternativa tamaño directa, la última capa de Softmax simple adición de un conjunto de lineal y determinar el tamaño 0
- Z <0, la predicción se clasifica 0
- Z> 0, la predicción de una clasificación
Softmax en la clasificación multivariante
Para los términos clasificación Softmax multivariados, la red es en realidad el resultado de la anterior grupo de capas Además lineal múltiple, el valor máximo del resultado se establece como un resultado de predicción
Aquí hay que hacer alguna transformación, con Ra - Rb y 0 tamaño, de la comparación de dos alternativa tamaño directa, esto es equivalente a la última capa usando Softmax un conjunto de lineal después de la adición y más en línea 0 se determina para determinar el tamaño a, b clasificación que una clase, usted puede encontrar una muchas veces la clasificación de máxima verosimilitud juez
- aún puede utilizar el clasificador binario, una combinación lineal Z = perspectiva geométrica proyección hiperplano 0
1 capa relu + 1 Softmax capa de red clasificación binaria
- X de entrada en el espacio n-dimensional
- Z es n 1 + espacio tridimensional se genera en el hiperplano = 0 y M líneas de plegado Ultra, el plegado es m (m es el número de neuronas en la primera capa relu)
- Después de gráficos plegados lineal aditiva combinando (cambiando el ángulo y la posición de cada pliegue de la totalidad del eje Z) y Z = 0 para comparar el tamaño de la hiperplano
- En el n espacio + 1-dimensional, en el que el patrón de la proyección hiperplano Z = 0 es el espacio original n-dimensional binario clasificación límite
Véase, por cualquier ley cierta distribución se reúnen finito, siempre y cuando una pluralidad relu un número suficiente de neuronas, el plegamiento puede depender del espacio de alta dimensional y genera distribución espacial dimensional alto de tal coincidencia de patrones
Ejemplo de análisis 1
perspectiva espacial de alta dimensión
- 3 gráficos súper polilíneas producidos bajo espacio de alta dimensional
- Tres líneas rectas divisorias generador de plano hasta 7 partes, 6 partes producen aquí (la porción intermedia que tiene la más pequeña despreciable)
- patrón de Límites proyecta hiperplano en Z = 0 es sólo el hexagonal
Relu primera capa en la línea de plegado Z = 0 súper hiperplano
Z en el espacio de alta dimensión
aprendizaje adjunta Java / C / C ++ / máquina / Algoritmos y Estructuras de Datos / front-end / Android / Python / programador de lectura / libros individuales libros Daquan:
(Haga clic en la derecha para abrir allí en el blog personal en seco): seca Técnica de floración
===== >> ① [Java Daniel lo lleve en el camino a avanzado] << ====
===== >> ② [+ acm algoritmo de estructura de datos Daniel lo lleve en el camino a avanzado] << ===
===== >> ③ [base de datos de Daniel lo lleve en el camino a avanzado] << == ===
===== >> ④ [Daniel cliente web para llevarlo en el camino a avanzado] << ====
===== >> ⑤ [pitón máquina de aprendizaje y Daniel le llevará a la entrada camino avanzada] << ====
===== >> ⑥ [arquitecto Daniel lo lleve en el camino a avanzado] << =====
===== >> ⑦ [C ++ Daniel avanzó para llevarlo en el camino] << ====
===== >> ⑧ [ios Daniel lo lleve en el camino a avanzado] << ====
=====> > ⑨ [seguridad web Daniel lo lleve en el camino a avanzado] << =====
===== >> ⑩ [sistema operativo Linux y Daniel se toman en el camino a avanzado] << = ====No hay frutas consumidas, espero que jóvenes amigos, amigos desea aprender técnicas, superando todos los obstáculos en el camino de la carretera determinada para atar en la tecnología, entender el libro, y luego golpear en el código, entender el principio, e ir a la práctica, se se le dan vida, su trabajo, su futuro un sueño.
