Link original: https://arxiv.org/abs/1803.03067
Rede MAC é uma nova arquitetura de rede totalmente micro-neural, o objetivo é aumentar o poder expressivo da inferência. Inspirado nos princípios da arquitetura de computadores, o MAC não usa a arquitetura de caixa preta da rede neural tradicional e, em vez disso, adota um design que promove a transparência e a multiuso.
Como mostrado na figura, os componentes da rede MAC são um neurônio de entrada, uma rede recorrente central e um neurônio de saída. O neurônio de entrada transforma a descoberta em um recurso, e a rede cíclica decompõe o problema em uma série de operações, extraindo informações da imagem para formar uma memória cíclica. Por meio dessas operações, a rede executa um raciocínio lógico de acordo com a sequência.
O núcleo da rede MAC está na rede neural recorrente média. Diferentemente da estrutura de rede tradicional, essa parte da rede recorrente consiste em neurônios MAC. p Os neurônios MAC são unidos e cada neurônio é responsável por uma etapa de inferência, transferindo e atualizando o controle e a memória passo a passo e, finalmente, emitindo.
O autor disse que o design da rede MAC foi inspirado na arquitetura do computador.Eu acho que se refere à CPU do pipeline na composição do computador - dividida em cinco estágios do pipeline, os dados e os sinais de controle são passados passo a passo, e o caminho dos dados inclui dois processos de leitura e gravação O sinal controla a leitura e gravação de dados.
Conforme mostrado na figura, o neurônio MAC de cada camada lê o controle e a memória do nível superior e o passa para o módulo de controle e o módulo de leitura e gravação do neurônio, respectivamente.
O módulo de controle utiliza as informações de controle superiores Ci-1 e as informações q extraídas da pergunta para gerar as informações de controle inferiores Ci.
O módulo de leitura e gravação usa a memória superior Mi-1 e a imagem KB para ler as novas informações Ri e usa o Ri e Mi-1 para gravar a memória inferior Mi. O processo de leitura e o processo de escrita são controlados por Ci-1 e Ci, respectivamente.
No experimento, o autor compara a precisão do MAC e de outros modelos em diferentes tarefas do conjunto de dados CLEVR, alcançando precisão de ponta e também possui alta eficiência computacional e eficiência de dados. Para melhores resultados, a quantidade de dados necessária é de apenas 1/6 dos outros modelos.