关于batchnorm, relu, softmax的思考

relu 并不进行判断性输出，比如神经网络的最终目的是判断性输出，比如是哪一类，需要判断是哪一类需要使用softmax

relu和batch 搭配使用，相当于引入了，同行竞争机制，对batch norm对应的axis, 淘汰小的一半。