[Notas de papel] Mapeamento de ativação de categoria CAM

---

título: Aprendendo recursos profundos para localização discriminativa
autores: Bolei Zhou et.al.
ano: 13/12/2015

---

Principais contribuições

1. Implementar análise de interpretabilidade e análise de significância para aprendizagem profunda
2. Forte escalabilidade, vários algoritmos baseados em CAM foram posteriormente derivados.
3. Cada imagem e cada categoria podem gerar um mapa de calor CAM
4. Localização fracamente supervisionada: um modelo que usa apenas classificação de imagens resolve o problema de localização
5. Potencial "mecanismo de atenção"
6. Tornando possível o ensino de máquina

Abstrato

Neste trabalho, revisitamos a camada de pooling de média global proposta em [13] e esclarecemos como ela permite explicitamente que a rede neural convolucional tenha notável capacidade de localização, apesar de ser treinada em rótulos de nível de imagem. Embora esta técnica tenha sido proposta anteriormente como um meio para regularizar o treinamento, descobrimos que ela na verdade constrói uma representação genérica localizável e profunda que pode ser aplicada a uma variedade de tarefas. Apesar da aparente simplicidade do agrupamento da média global, somos capazes de atingir 37,1% de erro top-5 para localização de objetos no ILSVRC 2014, o que é notavelmente próximo dos 34,2% de erro top-5 alcançado por uma abordagem CNN totalmente supervisionada. Demonstramos que nossa rede é capaz de localizar as regiões discriminativas da imagem em uma variedade de tarefas, apesar de não estar treinada para elas.

Método

• A imagem acima condensa o trabalho principal do artigo

• O autor propôs mapas de ativação de classes (CAM), que podem visualizar regiões discriminativas de categorias específicas.

• Exceto pelo pool médio global (GAP) na última camada totalmente conectada, as outras camadas da rede CNN usam apenas convolução.

  • GAP médio global de agrupamento

    
    Selecione um valor médio para cada canal do mapa de características, que é equivalente ao agrupamento máximo com passada igual ao tamanho do mapa de características.

Cálculos de ativação de categoria

• Para uma determinada imagem, $f_{}(x,y)$ é o kk-ésimo mapa de recursos de saída da última camada de convolução$k$ canais no ponto$(x,$valor de$y$$)$

• Para $f_{}(x,y)$ é um valor escalar obtido após realizar o agrupamento da média global.

  • $$F_{}=\underset{x,você}{}{f}_{}(x,você)$$

  • Tudokk_ $k$ canais formam um$1\ast 1\ast$autovetor de$k$

• Passe o vetor de recursos por uma camada totalmente conectada $C\in R^{k\times c}$ , cada elemento é$c_k^{}$, significa $F_{}$Para categoria ccO peso de determinar a importância de$c$

• A saída da camada totalmente conectada é a probabilidade da categoria não normalizada, ccA probabilidade não normalizada da classe$c\; é$

  • $$\begin{gathered} S_{}=\underset{k}{}{c}_k^{}{F}_{} \\ =\underset{k}{}{c}_k^{}\underset{x,você}{}{f}_{}(x,você) \\ =\underset{x,você}{}\underset{k}{}{c}_k^{}{f}_{}(x,você) \end{gathered}$$

  • É o valor do nó cinza escuro no lado direito da imagem abaixo

  • 

• Normalizar probabilidades por softmax

  • $$P_{}=\frac{\mathrm{experiência}(S_{}}{{\sum }_{}\mathrm{experiência}\left(S_{}\right)}$$

• Não. $O\; mapeamento\; de\; ativação\; de\; categoria\; da\; classe\; c$ é usar wkc w_k^cpara o mapa de recursos da última camada de convolução$c_k^{}$Execute uma soma ponderada

  • 

  • A razão é que wkc w_k^c foi mencionado anteriormente$c_k^{}$representa o $O\; par\; médio\; de\; k$ mapas de características é determinado como o$A\; importância\; de\; c$ , portanto, também pode ser usado para realizar uma soma ponderada de mapas de características (semelhante à combinação da camada PS) para obter o mapa de ativação de categoria

  • Definir mapa de ativação de categoria $M_{}$É o CCMapeamento de ativação de categoria para classe$c$

  • $$M_{}(x,você)=\underset{k}{}{c}_k^{}{f}_{}(x,você)$$

  • Traga para $S_{}$Há

  • $$S_{}=\underset{x,você}{}{M}_{}(x,você)$$

  • Também explica que $M_{}$Reflete diretamente o julgamento de que o ccimportância de$c$

---

• Ao dimensionar o mapa de ativação de categoria (HW e o mapa de recursos da última camada de convolução são iguais) de volta ao tamanho da imagem de entrada por meio de upsampling (interpolação bilinear) e compará-lo com a imagem original, verifica-se que os locais com valores de ativação maiores estão na imagem original. Regiões relacionadas a esta categoria
  • 
• Através do CAM, verifica-se que a mesma imagem possui diferentes áreas salientes para diferentes categorias.
  • 
  • O valor branco corresponde ao nível de confiança com que a imagem é classificada nesta categoria.
  • Por exemplo, para um palácio, a sua área saliente concentra-se na parte inferior da imagem, o que significa que a rede depende mais das características desta área ao julgá-la como palácio.
  • Ou seja, se uma imagem contém vários objetos, embora a rede produza apenas a categoria com maior probabilidade $c_{ma}$, mas para outras categorias também haverá ativações correspondentes quando a imagem for selecionada.