1.pooling的反向传播:
https://blog.csdn.net/qq_21190081/article/details/72871704
pooling反向传播的原则:pooling的值和上一层对应的区域的loss(或者梯度)之和保持不变
mean pooling:把梯度平均分给4个值.如果4个位置都是这个值,梯度要爆炸.
max pooling:把梯度给最大的那个值,其他值的梯度为0.caffe用max_idx_来记录最大值的id.
2.relu的反向传播:
relu的公式:
relu的倒数公式:
caffe源码中反向传播的代码,negative_slope默认为0,所以小于等于0的时候梯度为0
3.卷积的反向传播: