ML笔记 - 神经网络训练技巧

版权声明：本文为博主原创文章，可以转载，但请添加原文链接。 https://blog.csdn.net/hwhsong/article/details/87630224

数据预处理

数据去均值

激活函数选择

优先使用ReLU，尝试Leaky ReLU / Maxout / ELU，少用Sigmoid

权重初始化

不同的初始方法下，随迭代轮次，损失的变化

学习率与批样本大小

不同批样本数量对于训练的影响

不同大小的学习率下，神经网络的训练损失变化

损失函数与优化器

不同优化方法下，loss的变化

超参数调优

批规范化处理 / Batch Normalization

Batch Normalization对于结果的影响