(Resumen encontró Experimentación creo)
a la red de peso ligero clásico de tres:
Squeezenet expansión Módulo de Compresión de fuego
MobileNet profundidad para dar lugar separables profundidad convolución
ShuffleNet la limpieza del canal
leído hoy Squeezenet
Squeeze neto: Precisión Alexnet nivel con los parámetros y 50X Menos <0,5 MB de tamaño Modelo , Forrest N. Iandoal, Song Han, 2017
Innovación
Squeezenet es una red ligera bien diseñada que utiliza técnicas de compresión comunes: SVD, poda y cuantización cuantificada de 8 bits para comprimir aún más el modelo sin perder precisión. Es ampliamente utilizado para la detección de objetos móviles.
(Es mucho más eficiente entrenar con un modelo pequeño al principio que podar un modelo grande en un modelo pequeño)
1 Beneficios de modelos pequeños
- 1 Distribuya la capacitación de manera más eficiente
- 2 Actualice los parámetros del modelo más rápido en la nube
- 3 El uso de memoria y almacenamiento pequeños es fácil de aplicar al arreglo de compuerta programable de campo FPGA
2 Exploración espacial del diseño de redes neuronales
- 1 Exploración microscópica: la dimensión y la configuración de cada capa
afectan el tamaño del modelo y la precisión de la estructura cnn por la
misma cantidad de parámetros: los modelos profundos y estrechos son mejores que los modelos anchos y poco profundos - 2 Macro exploración: módulo de organización de extremo a extremo u otras capas
3 estrategia de alta precisión sin parámetros SqueezeNet
3.1 Estrategia de innovación
- 1 Disminución de parámetros: reemplace 3 3 con 1 1 núcleo de convolución (reducción de 9x)
- 2 Reduzca el parámetro: reduzca el número de canales de entrada use la capa de compresión (convolución 1 * 1)
- Canales de entrada de cálculo de parámetros * tamaños de kernel al cuadrado * filtros nums
- 3 Posicionamiento: hacer mapas de funciones grandes y ricos
- Use varios tamaños de cálculos de kernel de convolución para retener más información y mejorar la precisión de clasificación
3.2 Módulo de fuego
Cada módulo Fire tiene tres hiperparámetros
1 canal de entrada (96) con fuego M (M <96) 1 1 convolución para reducir la dimensión
2 Expandir Uso paralelo de convolución 1 1 y 3 * 3 para obtener el mapa característico de diferentes campos receptivos ( Similar al
inicio— ) 3 Concat: mapas de características de empalme
3.3Sqeeze net (entrada 224 * 224)
El bypass de la izquierda no se utiliza, el bypass en el medio y el complejo de la derecha es un
módulo al que se le han proporcionado funciones en los siguientes cuadros.
4 evaluación
Aquí hay un punto: Squeezenet es un modelo pequeño pero también se puede cuantificar y comprimir, pero la precisión tiene poco efecto
