opinión BNN 2020
red neuronal coste computacional de almacenamiento binario ahorro y el despliegue en el borde de un dispositivo informático. Sin embargo, la binarización en grave pérdida de información, es difícil optimizar la discontinuidad.
Directamente en la solución original de binarizada, y el uso del error de cuantificación se reduce al mínimo, la mejora de la red y reducir el error técnicas de gradiente de la función de pérdida tal solución optimizada.
También vamos a explorar otros aspectos prácticos de las redes neuronales binarios, tales como técnicas de diseño de hardware y de formación para los niños.
Incluyendo la clasificación de imágenes, detección de objetos y la segmentación semántica diferentes tareas discutidas y evaluadas. Mirando hacia el futuro, la investigación desafía probable que la cara.
fondo
Un método para la compresión de la red profunda se puede dividir en cinco categorías: los parámetros de la poda, parámetro de cuantificación, una descomposición bajo rango, la migración / compresión destilación convolución de filtro y de conocimiento.
Es un datos de cuantificación de 1 bit binario que tiene sólo dos valores posibles, es decir, 1 (0) o +1. Después de usar los pesos de la red de compresión, binarios y puede ser activado por un expreso, sin tener demasiada memoria.
Además, mediante la binarización de la red binaria puede utilizar ligero y Bitcount bit operaciones XNOR en lugar de coma flotante multiplicar-sumar aritmética onerosa.
El uso de una convolución de la aceleración XNOR-Net en la CPU puede alcanzar 58 veces, la relación de compresión hasta 32 veces.
clasificación
redes neuronales binarios simples
BinaryConnect digitalizan red neuronal
Red neuronal bit a bit
3.2 optimización basada en las redes neuronales binarios
La práctica habitual es reducir el peso del error de cuantificación y la activación. Esta es una solución simple para
cuantificar mecanismo similar a la norma, es decir,parámetro de cuantificación debe ser lo más cercano a los parámetros completos de precisiónY el modelo de red neuronal binario es deseable rendimiento cercano al pleno precisión del modelo.
3.2.1 minimizar el error de cuantificación
3.2.2 mejorar la función de pérdida de red
programas binarios generales se centran sólo en flotación precisa aproximación parcial, sin tener en cuenta el impacto de la pérdida global de parámetros binarios. Afectadas sólo una capa es difícil asegurar la salida final después de una serie de capas de precisión. Por lo tanto, las necesidades de la red mundial de formación para poder tener en cuenta los objetivos de la misión binarios y específicos.
Aumentar los elementos de pérdida percibidas
LAB) (INQ)
La destilación del conocimiento
(DQ) (DBNN) CI-BCNN
3.2.3 reducción de errores gradiente
falta de coincidencia evidente entre la función de gradiente y la señal de la STE gradiente generado. Además, hay un problema: [- 1, + 1] parámetro fuera del intervalo no será actualizado.
Mejora de cuantificación gradiente solucionador
Bi-Real ApproxSign proporciona una función personalizada para reemplazar la función de signo para calcular la propagación hacia atrás de gradiente
Solución de mejoras antes de vectorización
Gong et al cuantificación suave (DSQ) Un método diferencial, la función de cuantificación suave cuantizado en lugar de las funciones tradicionales:
3.3 arquitectura de computación de redes neuronales binaria eficiente
3,5 consejos de entrenamiento de la red neuronal binarios
Convertidor de la configuración de red, la optimización y la selección de ultra-parámetro, la aproximación del gradiente y aspectos asintóticas resumido método binario eficiente de cuantificación común red neuronal de entrenamiento utilizado ampliamente en la literatura.
3.5.1 Red de reestructuración
binarización del modelo y de la activación del peso derecho a {1, + 1}. Esto es en realidad equivalente a la regularización de datos, de manera que la distribución de datos binarizada cambia, la estructura de la red es para ajustar el esquema de distribución de los datos de los cambios razonables eficaces.
Las capas de reabastecimiento rendimiento de la red se pueden mejorar las redes neurales binarias
-
Utilice capa agrupada inmediatamente después de la capa se puede evitar mediante convolución de la piscina más grande después de binarización que conduce a la pérdida de información. Los experimentos muestran que la posición de transposición ha mejorado mucho en la precisión.
-
TSQ y la HWGQ operación de cuantificación insertado antes de todos los lotes normalizaron para corregir la capa de datos. Después de esta transformación, la distribución obedecen entrada estable cuantificado (a veces cerca de la distribución de Gauss), por lo tanto, los restos de media y varianza dentro de límites razonables, y el proceso de formación se vuelve más suave.
-
red subsiguiente Bi-Real para ser conectado a cada figura de entidad de entrada convolucionada
-
La ampliación de la red de baja precisión (WRPN), que aumenta el número de filtro de red en cada capa, cambiando de este modo la distribución de los datos
3.5.2 optimizador y de ultra preferencias
Adam puede hacer uso del proceso de formación mejor, más rápido, y un coeficiente de suavización de la segunda derivada es particularmente crítico.
Si la información de la historia no se considera una optimización de la tasa de aprendizaje fijo, como el descenso de gradiente estocástico algoritmo (SGD), la necesidad de utilizar un lote grande de datos para mejorar el rendimiento.
Al mismo tiempo, la normalización de lotes ajustes factor de impulso también es fundamental. Al comparar la precisión de los resultados bajo diferentes coeficientes de impulso, se puede encontrar necesario parámetros establecidos apropiadamente lotes normalizados para adaptar el jitter binarización causado por la operación.
3.5.3 cuantificación asintótica
Dado que la operación de cuantificación tiene un impacto negativo en la formación, muchos métodos asintóticos utilizando estrategias cuantitativas, el aumento de cuantificar el alcance para minimizar la pérdida de rendimiento por los parámetros de la iniciativa binario.
Por ejemplo, los parámetros se agrupan INQ, y aumentar gradualmente el número de la participación del grupo de cuantificación para lograr grupo basado en la cuantificación progresiva.
Hacia la red neural convolucional de bajo ancho de bits eficaz se propone para disminuir la exactitud de precisión de cuantificación, para compensar un gradiente de los parámetros de error de cuantificación proceso de formación.
3.5.4 aproximación gradiente
Debido a que a través del uso de un estimador, por lo general en presencia de la propagación de nuevo gradiente de error. función función de cierre de binarización aproximación encontrado es un simple y solución práctica.
resultado del análisis
clasificación
CIBCNN CBCN BCGD
análisis
- La activación del impacto de binario grande
estudio de la motivación principal del RAD PACT y así sucesivamente. Después de añadir una distribución razonable de regularización activación, reducirá los efectos perjudiciales causados por la activación del par binario, seguido por aumento de la precisión natural. - La robustez de su estructura dos redes neuronales son muy relevantes
estructura de conexión propuesto Bi-Real y bloques más anchas en WRPN en que la información se hace posible a través de sustancialmente toda la red. Aunque modificaciones estructurales pueden aumentar la cantidad de cálculos, pero se benefician de la operación XNOR-Bitcount, todavía se pueden acelerar de manera significativa. - Más específicamente diseñada para las características especiales de BNN
como XNOR-Net ++, CBCN, Self -Binarizing Networks, BENN así sucesivamente. - Procedimiento General
, por ejemplo, un factor de escala, la aproximación de suavizado inversa, las conexiones estructurales adicionales. Dado que estos métodos son simples y de bajo modalidad de acoplamiento,
por diseño o el aprendizaje de cuantificador bien, algunos cálculos complejos o incluso canal de adiestramiento de varias etapas, que a veces el hardware antipático y difíciles de reproducir.
detectar
análisis
En las tareas de clasificación, la red está más preocupado por la función global, mientras que haciendo caso omiso de las características locales causadas por la pérdida de la binaria. Sin embargo, las características locales más importantes entre otras tareas. Por lo tanto, cuando se diseña un redes neuronales binarios para otras tareas, tenemos que prestar más atención a las características locales diagrama característico.
https://mp.weixin.qq.com/s/QGva6fow9tad_daZ_G2p0Q
cuantificar opinión 2018
https://www.jiqizhixin.com/articles/2018-06-01-11
https://chenrudan.github.io/blog/2018 /10/02/networkquantization.html
