深度学习训练过程中的问题&解决

初始学习率设定

可以从0.0001到0.1每次扩大10倍试验，直到验证集上的loss增大。
一般0.01-0.1左右

样本不平衡问题

解决方式

1. 采样层面
   过采样&降采样

• 基础版本的过采样：随机过采样训练样本中数量比较少的数据；缺点，容易过拟合；
• 改进版本的过采样：SMOTE，通过插值的方式加入近邻的数据点；
• 神经网络中的过采样：SGD训练时，保证每个batch内部样本均衡。

2. 改变loss 权重
   　代表工作:focal loss，正负样本分别赋予不同的权重
3. 当作异常检测任务处理