revisión de la red básica (Basemodel)

Esto es lo que en julio de 2018 en la búsqueda de un puesto de trabajo, revisión (Basemodel) basado en individuales aprendidas resumió la red subyacente.
Entre ellos, sólo recoger Creo que las series más importantes de la red básica, una descripción breve en orden cronológico.

Si elaborado lugar equivocado, amablemente señalado.

LeNet

tiempo

1998

significado

1. marcas de lanzamiento de CNN lo real.

ventaja

1. Se logró una mayor tasa de precisión del 99% que en el reconocimiento de caracteres.

defecto

1. No hubo GPU, la formación de LeNet consume mucho tiempo;
2. tareas que no son de OCR, incluso peor que la SVM.

solicitud

1. OCR (tal como el sistema postal de Estados Unidos).

AlexNet

tiempo

2012

significado

1. Se demuestra la eficacia de la CNN en un modelo complejo, zonas CV de gran desarrollo "reventón".
2. ImageNet2012 1st。

la innovación

• Niveles de datos:
  1. IMAGEnet utilizando los datos de masa (para evitar un exceso de ajuste);
  2. Utilice la mejora de los datos (para evitar la sobre-presión).
• El nivel de la red:
  1. Se añadió a evitar la deserción sobreajuste;
  2. función de activación Relu, evitar al alza de los desaparece gradiente;
  3. La respuesta parcial normalizado (LRN), usar los datos para hacer cerca normalizado (bn apareció después de 2015 de eliminación).
• nivel de hardware:
  1. Uso de la GPU, rápida convergencia (tubo doble de línea representa el papel, es decir, paralela dual GPU).

ventaja

Rompiendo el techo capas, la profundidad de ocho.

solicitud

1. R-CNN;
2. SPPNet.

ZFNet

tiempo

2013

significado

1. El uso de deconvolución de las características visuales de la CNN, la penetración de la CNN en la jerarquía.

solicitud

1. Faster R-CNN.

la

significado

1. Perceptrón multicapa (totalmente conectado capa de composición de múltiples capas y la función no lineal) sustituye a la anterior sencilla CNN lineal capa de convolución. Debido a la profundidad estudio no lineal de toda la abstracción y la representación capacidad de la fuente, y por lo tanto el equivalente de "Gasser MLP entre capas para aumentar no lineal."

solicitud

1. De la referencia por Inceptionv1.

GoogleNet

tiempo

2014

significado

1. Propuesto Inceptionv1, abierto la serie de lanzamiento;
2. Actualizar la profundidad de la red de establecer un nuevo récord de profundidad de la nueva red;
3. El método propuesto por primera vez de la reducción de dimensión es CONV1 × 1. El método propuesto por primera vez de la reducción de dimensión es CONV1 × 1.

la innovación

1. NiN estructura similar, es decir, el nodo original es una sub-red.

ventaja

1. Parámetro menos.

defecto

1. estructura compleja.

variante

1. Inceptionv2 / 3/4, Xception

solicitud

1. YOLOv1.

VGGNet

tiempo

2014

significado

1. ImageNet2014 tareas de posicionamiento primera, segunda tarea de clasificación.

la innovación

1. El uso generalizado de la pequeña red de convolución kernel para reemplazar el gran núcleo de convolución.

ventaja

1. arquitectura de red súper simple, altamente modular.
2. kernel de convolución se puede lograr con la misma gran escala del campo receptivo después de una pequeña pila de convolución kernel, y una cantidad menor de parámetros;
3. Profundizado capas de red -> mejora la capacidad de la red.

defecto

1. El modelo es demasiado (la mayoría de los parámetros en los últimos tres capas fc), ineficiente.
2. Superposición de convolución kernel significa que el número de capas aumenta, dando lugar a un aumento de la cantidad calculada total de toda la red;
3. Aumentar el número de capas conduce a un mayor gradiente de riesgo.

estructura

Convolución cinco escala, las dos primeras capas que contienen cada uno 2 de convolución, la convolución de tres capas, que contienen cada uno 3-4; FC seguido por tres, la última Softmax fin.

solicitud

1. Fast R-CNN;
2. Faster R-CNN;
3. SSD.

grave

tiempo

2015

significado

1. El basemodel corriente actual;
2. campeón ImageNet2015;
3. CVPR2016 mejor papel.

la innovación

1. Highway Redes primer diseño de mapeo entre las diferentes capas, y ResNet Highway Redes diseño simplificado, la cartografía realizada solamente entre el módulo adyacente. Una vez más, el gradiente alivió el problema, y ​​una vez más se rompió las capas de red del techo. Mientras tanto, el diseño también hace que la formación temprana puede ser extremadamente rápida convergencia.

análisis

¿Por efectiva:

1. Modelo para aprender, siempre ha sido una parte de la estructura de mapeo de identidad. El original de la red "en serie" es difícil de aprender este mapeo. ResNet que supone un incremento de las restricciones al modelo de ayuda aprende fácilmente la asignación de identidad.
2. Después de la adición de asignación de identidad, los objetivos de aprendizaje en un residual, es mucho más fácil de aprender que el objeto original.
3. De pie perspectiva de asignación de identidad, a continuación, hecho ResNet profundo, no varias capas.

pensar

1. ResNet más de 50 capas han usado DIVISA1 × 1, que es pensar reducción de dimensionalidad.

variante

1. ResNeXt;
2. DenseNet;
3. DPN.

solicitud

1. R-FCN;
2. FPN (+ Faster R-CNN);
3. Máscara R-CNN;
4. RetinaNet.

DenseNet

tiempo

2016

significado

1. CVPR2017 mejor papel.

la innovación

1. El ResNet original de "asignación de identidad de un tipo de serie" se convirtió en "una asignación de identidad a muchos", el diseño es relativamente simple.

pensar

1. Debido a que es sólo para la asignación de identidad ResNet ser llevado adelante, esta idea que mucha gente puede pensar, todo el texto no es sorprendente.

solicitud

1. Juega lista de pinceles;
2. Papel cepillo AP.

Xception

tiempo

2016

significado

1. El más corriente principal de varios basemodel uno ligero.

la innovación

1. Grupo reemplaza un tipo paralelo serial grupo utilizado anteriormente. (El grupo responsable del módulo de serie se llama convolución separable)

ventaja

1. Parámetro era modelo mínimo, ultra-pequeño.

defecto

1. capacidad de extracción de características es pobre.

variante

1. Xception145;
2. Xception39.

ResNeXt

tiempo

2016

la innovación

El simple ResNet original "arquitectura residual" sustituye por "versión de lanzamiento de la estructura residual."

ventaja

En IMAGEnet pueden converger más rápidamente que la clasificación de los resultados ResNet ligeramente mejor punto.

defecto

Compleja.

solicitud

1. Juega lista de pinceles;
2. Papel cepillo AP.

DPN

tiempo

2017

la innovación

1. La tubería doble. Un lado es ResNet, un lado es DenseNet, conocida como la línea de tubo permite que el complemento a dos entre sí.

solicitud

1. Juega lista de pinceles;
2. Papel cepillo AP.

---

resumen

Antes ResNet cabo, basemodel pasado de un AlexNet dominante, a GoogleNet y VGGNet dividir el período mundial. Después ResNet debido a su simplicidad y de gran alcance, convertido en la referencia absoluta de basemodel.

Hoy en día, los médicos siguen el proceso general es:

1. Primero con ResNet-50 para verificar la eficacia del algoritmo;
2. Cuando este algoritmo es eficaz en términos ResNet-50, si a perseguir la velocidad del algoritmo (por ejemplo, planta a un terminal móvil), la sustitución de basemodel Xception, ShuffleNet; si desea seguir precisión (, el cepillo de papel AP, lista de reproducción cepillo por ejemplo), basemodel entonces sustituye ResNet-101 / ResNeXt / DPN.
3. etapa de tren, por lo general directamente en un basemodel pre-formados, poner a punto una, veinte época puede estar en sus propios conjuntos de datos.