O que é atenção escassa
Suponha que temos uma imagem contendo muitos pixels e cada pixel pode ser visto como uma posição em uma sequência de entrada. Se usarmos um mecanismo tradicional de atenção global para processar esta imagem, precisaremos calcular a similaridade entre cada pixel e todos os outros pixels e gerar um vetor de contexto para cada pixel. Este cálculo é muito caro do ponto de vista computacional porque há muitos pixels na imagem, e o cálculo da similaridade entre os pixels também é demorado e consome recursos computacionais. Em contraste, os mecanismos de atenção esparsa consideram apenas um pequeno subconjunto de pixels relevantes para o pixel atual. Podemos usar alguns métodos para selecionar esses "pixels-chave", como usar o mecanismo de atenção em uma rede neural convolucional ou usar uma abordagem de camada espacial para selecionar pixels-chave. Depois de selecionar os pixels principais, precisamos apenas calcular a similaridade entre o pixel atual e esses pixels principais para gerar o vetor de contexto. Isso pode reduzir significativamente o esforço computacional e o consumo de memória, mantendo o desempenho do modelo. Em resumo, o mecanismo de atenção esparsa é um mecanismo de atenção que reduz a quantidade de computação e consumo de memória selecionando uma pequena porção de conteúdo relevante para a localização atual. Possui amplas perspectivas de aplicação no processamento de dados de sequência longa, como texto e imagens.