深度学习：剖根问底之softmax和logistics的Loss

1: BatchNorm

BN进行归一化的时候，归一化的是Wi *x + bi，归一化之后送入到激活函数中；

2：softmax和logistics的Loss

交叉熵计算的是两个向量的距离，值越小，越相近；

Logistics Loss：

softmax Loss:

logistics是二分类的loss计算方式，softmaxLoss是one-shot的计算方式，除了一个标签为1之外其他的都是0；