ディレクトリ
まず、基本的な
二、SGD
三、Adagrad
四、Adadelta
五、アダム
テキスト
まず、基本的な
勾配：1次元では、傾きは関数の誘導体です。
勾配：関数Aの勾配の誘導体と呼ばれる多次元空間は、その偏導関数のベクトルです。
勾配は、それぞれ、最速の低下の負の勾配方向の関数にポイント機能急成長している方向を指し、導出方法は、リンクを参照できます。https：//blog.csdn.net/itplus/article/details/9337515
二、SGD
一般的には、SGDはミニバッチGDを意味し、（：バッチGD、確率的GD、ミニバッチGD GDは、3つのタイプに分けることができます）
SGDは、各反復勾配ミニバッチを計算し、その後、パラメータを更新されます。
GT =