1つのパラメータの値、および逆伝播アルゴリズムを最適化するための主勾配降下アルゴリズムは、すべてのパラメータに勾配降下法を使用して効率的な方法を与えるよう可能な限り訓練データにニューラルネットワークモデルにおける機能喪失小さな。
指数関数的減衰機能を実現tf.train.exponential_decay：指数関数的減衰法 - 2.学習率がない大きすぎるたり小さすぎる、tensorflowは、より柔軟な学習率の設定方法を提供します。この関数のStaricaseデフォルトパラメータは、反復の数の学習速度がトレンドを変更することが滑らかな減少を示し、偽であり、trueに設定すると、decay_stepsは学習レートは、ステップ関数として、整数に変換されます。
3.正則、オーバーフィッティングを避けます：