【笔记】神经网络训练的提升：能反馈更大误差信号的交叉熵（cross entropy）作为损失函数；能使网络具备更好泛化能力的四种正则化（L1、L2、DropOut和人工扩充训练数据）；超参数启发式选取

附：

Neural networks and deep learning

 

 

 softmax和对数似然损失的误差反馈：errj = ∂C / ∂zj ->errj = outj - yj。