attention就是一个门,sigmoid是if elif 几很多门,能进去的也有很多门,而softmax类似于switch for,即很多门里面只能进入一个门
决定通路与闭路,一张图片10*10,可能关注的点就是中间的一部分和左下角的一部分,那么中间的一部分就是通路,sigmoid输出尽量为1,左下角也是sigmoid为1,其余都是0,所以不会通过,这也就是热力图。
具体得到这个featuremap无所谓,但是最后要么sigmoid,要么softmax
cat add 是针对不同感受野的问题,可能针对检测或者多任务分类,最后是针对不同大小的物体进行输出,所以,
越往后感受野越大,也就是感受区域大,小的可能关注不了