[KnowingAI Zhizhi] Relacionado con la red neuronal | Tarjeta de conocimiento | Colección de notas

Red neuronal de KnowingAI

SO

Redes neuronales

• El surgimiento de las redes neuronales se debe a que las personas diseñan una estructura de red que imita la estructura y el principio de funcionamiento de las neuronas en el cerebro humano al comprender las razones del pensamiento humano para realizar la "inteligencia de la máquina";
• El cerebro humano puede reconocer una serie de procesos de manzanas: la retina recibe señales de luz y las convierte en señales eléctricas correspondientes que se transmiten al centro visual a través de la corteza cerebral, que se determina analizando el color, contorno, textura, forma y otras características del objeto Esto es una manzana, el principio de reconocimiento de objetos por red neuronal es una abstracción del proceso anterior;
• Una variedad de redes neuronales:
  ①La unidad de entrada es una estructura gráfica, luego es GNN
  ②La red neuronal está empaquetada, que es la Red neuronal de cápsula (CAPSNET) ③Operación de convolución
  en los datos de entrada, para obtener CNN

Gráfico de red neuronal (GNN)

• La razón para introducir GNN es que la estructura del gráfico puede expresar una amplia gama de significados, por lo que ingresar un gráfico como estructura en una red neuronal puede usarse para resolver varios problemas;
• La investigación en diferentes partes de la estructura del gráfico también puede resolver diferentes problemas: predicción de atributos de nodo, predicción de conexión de borde, así como el reconocimiento y clasificación de toda la estructura del gráfico ...
• La investigación de GNN sobre la clasificación de voz y texto visual se debe a que el texto puede considerarse como una red compuesta de palabras; el reconocimiento de acciones se debe a que el cuerpo humano puede considerarse como una red de esqueletos y puntos de apoyo.

En general, siempre que haya un campo de estructura gráfica, puede considerar aplicar GNN para resolver el problema.

CNN

• Configure diferentes núcleos de convolución para encontrar diferentes características en la imagen original

Red neuronal cápsula

• Cuando CNN procesa imágenes,
  ① ignora la relación relativa entre características y
  ② también es difícil entender operaciones como la rotación y el escalado de cosas
  , por lo que usar CNN para entrenar la red requiere una gran cantidad de datos para poder reconocer diferentes posiciones, Lo mismo desde la perspectiva
• En comparación con CNN, la red de cápsulas puede comprender mejor la composición, la ubicación y la postura de las cosas.

RNN

• RNN: una red que concede gran importancia a la información de secuencia; en el campo del lenguaje, el orden de las diferentes cosas dará lugar a grandes diferencias en la semántica y, debido a la división de la estructura gramatical, las diferentes posiciones de secuencia a menudo también implican información relevante, por lo que RNN necesita ser introducido para resolver el problema.
• Proceso de trabajo: cada vez que se ingresa un dato, además de calcular según el peso de la red, también se considera el estado de la red neuronal almacenada en el estado oculto en el momento de la última entrada de datos; a medida que se ingresan los datos una y otra vez, la información almacenada se actualiza constantemente.
• RNN y procesamiento del lenguaje natural:
  ①Traducción automática : encuentra la expresión de la misma secuencia de significados en diferentes idiomas;
  ② Generación de poesía: basada en un tema específico, genera una secuencia lógica de palabras de acuerdo con ciertas reglas
  ps como reconocimiento de voz, acciones Transacción cuantitativa estimación, etc., estos escenarios de aplicación que pueden vincular datos de entrada con series de tiempo también se pueden analizar utilizando RNN.

LSTM

• RNN usa estado oculto para guardar la información de estado de la red neuronal en el último momento, pero con la entrada continua de datos, cuanto más antigua la información de estado anterior ocupará cada vez menos peso, es por eso que RNN solo se puede usar para retener cortos -memoria de término.
• La puerta es un pequeño interruptor que se usa para determinar cómo retener la información, el rango de valores es [0,1]; hay tres puertas adjuntas al estado oculto actualizado——
  ①Olvidar la puerta: decida cuánta información original se retiene en el estado oculto ; (qué cosas viejas se olvidan)
  ②Puerta de entrada: decide cuánta información se debe mantener en el estado actual de la red; (recuerda qué cosas nuevas son)
  ③Puerta de salida: decide cuánta información en el estado oculto se envía.
• El mecanismo actualizado de LSTM: ① Entender
  el estado actual de la red a través de la puerta de entrada (memoria corta)
  ② Dejar información importante en el pasado a través de la puerta de olvido (memoria larga)
• GRU (Gated Loop Unit)
  ①Actualizar puerta (olvidar puerta + puerta de entrada): decidir descartar información antigua y agregar nueva información
  ②Restablecer puerta: decidir sobre el estado de la red en el último momento de escritura (capturar memoria a corto plazo)

El contenido anterior se deriva del contenido original de la estación B up master @KnowingAI智 智