modelo de red neuronal en esta dirección de compresión descomposición método tensor ¿Qué puede cavar un hoyo que? Este es un problema ya que he realizado estudios de postgrado. Leer un montón de papeles, la sensación se puede dividir a grandes rasgos en dos líneas:
(A) sobre la base de bajo rango aproximación descomposición tensor
se hace en el parámetro de modelo original descomposición tensores de bajo rango, para reemplazar a la gran tensor original después de factor de descomposición. Después de este proceso por lo general requiere un proceso de ajuste fino. Una de las dificultades es la manera de retener los parámetros más valiosos de una gran cantidad de hojas sobrantes, los valores de los parámetros iniciales como un buen ejemplo.
(B) de doble red de cuantificación
factores de descomposición tensor definen una nueva arquitectura de red, nuevo cálculo tensor en lugar de la operación de matriz original o capa de unión completo convolución. Este enfoque denominado provisionalmente la red Zhang cuantificarla, siguiendo la dirección del documento es un resumen, en orden cronológico.
1. "Tensorizing Redes Neuronales" (NIPS2015)
2. "Ultimate tensorization compresoras convolucionales y capas FC por igual" (NIPS2016 taller)
3. "Compresión de la red neuronal recurrente con tensor de tren" (IJCNN2017)
4. "Tensor-Tren redes neuronales recurrentes para Clasificación de vídeo "(ICML2017)
5." Acuerdo de Aprendizaje redes neuronales recurrentes con Trazos Plazo Tensor de descomposición "(CVPR2018)
6." Unidades residual Sharing A través Colectivo Tensor factorización "(IJCAI2018)
7." Tensor de regresión Redes "(2018)
8. "Tensor de regresión redes con varios de bajo rango Tensor aproximaciones" (2018)
9. "ancho de compresión: Tensor Anillo Nets" (CVPR2018)
10. "compresión de redes neuronales recurrentes con Tensor anillo de Reconocimiento de acciones" (AAAI2019)
11. El "Neural Networks, la Bayesiano Tensorized Rango con la selección automática" (2019)
12. Las "Redes profundas con la regresión robusta aleatorizado Tensor Capas" (2019)
13. "compresión profundas redes neuronales, Tucker descomposición Via AdaptiveDimension de ajuste" (2019)
14. A "Compresión y la interpretación de profunda redes neuronales a través de Tucker Tensor de capa: de los primeros principios de Tensor Valorado propagación hacia atrás "(2020)
desde el punto de vista cronológico esta línea de contexto de desarrollo bastante claro
1 y 2 se hacen en esta dirección de la abertura, con la descomposición de tren tensor fueron redefinidos capa convolución completo y la capa de conexión son primero ellos formar de nuevo a un tensor de dimensiones superiores.
3 y 4 se hacen sobre la base de un proceso sustancialmente el mismo, sino que se extendió a la red RNN.
5 Lo mismo se hace para la compresión de red RNN, sólo un cambio de una descomposición descomposición bloque plazo.
6 y el pensamiento no es el mismo que antes, que utiliza una forma de parámetros de bloque plazo explotó varias redes ResNet con un marco residual. los parámetros de descomposición Tucker se pueden convertir en un 1,3 capa convolución 3,1 * 1, tan pronto como en 2016 solo. Y la forma de bloque plazo de descomposición es una descomposición generalizada de plegado puede ser visto como una pluralidad de integración Tucker.
7-8 es un grupo que, en la red neural para la clasificación de la última capa en la capa.
9 con un método de descomposición anillo tensor propuesto nuevas, convolución completo y han sido representación capa re-conexión.
9 y 10 del mismo método, pero la tarea no es la misma, pero el 10 de papel escrito por agradable, una lectura de entender.
11 con el razonamiento bayesiano, no se puede leer.
12 es un seguimiento de 7, 8, vinieron a añadir pensamientos al azar.
13 El argumento principal es que antes de remodelar la descomposición en una dimensión que es mejor, y las dimensiones del núcleo del tensor de cómo tomar mejor.
14 intentos para explorar el modelo de red neural interpretabilidad por tensor, principalmente por el factor de Tucker explotaron derivada parcial, tamaños.
Para concluir, de hecho, no es un gran salto hacia delante, es decir, con el método de descomposición de nuevos y mejores básica de tensor que será utilizado en los parámetros de la red, o la aplicación de un modelo de red neuronal diferente, o aspecto de descomposición antes de la tensor de cuatro dimensiones y las capas de la matriz de convolución capas totalmente conectadas remodelar lo grande tensor dimensional. La principal dificultad es elegir el rango. Debido a que las dimensiones de la decisión de factor de descomposición rango tensor descomposición, es decir, determina la estructura del modelo de red después de Zhang cuantificado. En la actualidad, casi todo el trabajo especificado óptima empírica o experimental seleccionado.
Futuro puede cavar la fosa, hay muchos!
Reproducido del blog por encima de Enlace .
