keras调参经验

调参技巧

• 层叠LSTM的层时 尽量保持两个隐藏层个数一致 收敛的快的多
• 两层LSTM比一层好很多
• 激活函数很重要 relu通常效果比较好

  • 激活函数使用笔记

  • 激活函数介绍

• 学习率太大(0.02),记得要是0.001数量级的学习率，否则直接不收敛，因此学习率不要太大，越小越好

• 正则化参数
  • L1正则化效果很差
  • L2正则化 一般是0.01左右
  • 这个参数影响不太 而且容易拖累模型训练速度

• Dropout

  • 待补充

    优化器

    from tensorflow.keras import optimizers
    常用optimizers.Adam ,Nadam 学习率的设置在0.001数量级