Volver al profundo Red de Aprendizaje historia de desarrollo del modelo de catálogo clásico
Siguiente: artículos de fondo - la historia clásica de desarrollo del modelo de Deep Red de Aprendizaje (b) elaborada estructura y las características AlexNet
Contenido del Directorio
artículos de fondo - la historia clásica de desarrollo del modelo de Deep Red de Aprendizaje (a) la estructura gráfica y LeNet 5-estructura y características de la historia del modelo de desarrollo
artículos de fondo - profunda historia de clásico modelo de Red de Aprendizaje (b) elaborada estructura y las características AlexNet
artículos de fondo - Historia clásica de modelo profundo Red de Aprendizaje (c) la estructura y características de la ZF-Net elaborada
artículos de fondo - Historia clásica de modelo profundo Red de Aprendizaje (d) elaborada estructura y características VGG16
artículos de fondo - Historia clásica de modelo profundo Red de Aprendizaje (cinco) la elaboración de la estructura y características GoogleNet (incluyendo v1, v2, v3)
artículos de fondo - Historia clásica de modelo profundo Red de Aprendizaje (seis) elaborada estructura y las características de ResNet
artículos de fondo - Historia clásica de modelo profundo Red de Aprendizaje (siete) elaboran Inception-ResNet estructura y características
artículos de fondo - la historia clásica del modelo de red desarrollados profundo aprendizaje (h) elaborada estructura y características DenseNet
artículos de fondo - Deep Learning clásica historia del desarrollo del modelo de red (ix) estructura elaborada red oscura y las características de cada modelo y con precisión
En esta sección, en la historia del desarrollo de la estructura del modelo gráfico y LeNet 5-estructura y características, la siguiente estructura de sección y características elaboradas AlexNet
Una estructura gráfica de la fig.
II. Clásica red (Red Classic)
1. LeNet-5
论文地址: Gradiente del aprendizaje basado en Aplicada al reconocimiento de documentos
red neuronal LeNet-5 convolución es LeCun en 1998 propuesto para resolver el reconocimiento numeral escrito a mano de las tareas visuales. No pensé que el uso de relleno o relleno para "válido". Dado que este es un redes más clásicos, y ahora, básicamente, no tienen la profundidad de las redes neuronales. Hablar de las propiedades, por no decir los detalles. Amigos interesados pueden ir a leer en papel.
Descripción (1) de red:
De hecho, se puede observar a partir de la estructura anterior, la entrada es una 32x32, de hecho, 28x28 son posibles, pero la primera capa tiene que ser cambiado suficiente relleno MISMO. Por supuesto, debido a la pequeña red LeNet-5, relativamente, el modelo es también el archivo muy pequeño, CKPT modelo de menos de 1 M, si el archivo congelada modelo PB, modelo más pequeño, por pequeña memoria para el lado móvil, a veces en LeNet-5 se convirtió evangelio.
arquitectura de red:
El proceso de formación es la siguiente:
Como puede verse en el gráfico, el efecto del entrenamiento en el momento, todavía es muy posible. pérdida de ensayo de aproximadamente 1%. Y antes de que: artículos de fondo - red neuronal convolucional CNN (iv) el uso de TF CNN mnist ser escrita a mano proyecto de demostración código numérico sólo de formación, según se eleve al 98% +, y luego sintonizar acerca de los parámetros, o principios de parada y fina -tuning aspecto, según se elevó a 99% no debería ser un problema.
(2). Lenet-5 dispone de:
. ① convolución Cada capa consta de tres partes: una convolución, puesta en común y la función de activación no lineal
②. Extracción de características espaciales utilizando convolución
③. Disminución de resolución (submuestra) capa de células promedio (pooling media)
④. Hiperbólica tangente (Tanh) o de tipo S (la sigmoide) función de activación, Softmax como el clasificador definitivo
⑤. Conexión Sparse entre las capas para reducir la complejidad computacional.
Volver al profundo Red de Aprendizaje historia de desarrollo del modelo de catálogo clásico
Siguiente: artículos de fondo - la historia clásica de desarrollo del modelo de Deep Red de Aprendizaje (b) elaborada estructura y las características AlexNet
