勾配降下法、また知られている最急降下法は、損失関数が最小化されたときによく使用無制約最適化問題のための最も一般的に使用される方法です。勾配降下は、反復アルゴリズムです。適切な初期値xを選択します（0） 、反復を続け、収束するまで、目的関数の最小化のためのxの値を、更新しました。関数値が各反復で、最速の方向を減少させることを、負の勾配の方向が、Xの更新値の負の勾配方向は、このように関数値を減少させます。勾配降下法を述べ、我々は勾配と方向微分を言及する必要があります。
1.方向导数
（P）の点P（x、y）における近傍U内で定義された関数z = f（x、y）は、プライマー光線Lから点Pを与えました。x軸ましょう φ、光線Lの正の角度を、そしてPせ「（X +、△X、Y + Ayの）をLとP上の別のポイントである」U-のO（P）ドメインです。
考えた場合
、この制限が存在する場合、この制限を参照として、Lの方向微分の方向に点Pにおいて関数f（x、y）と呼ばれ
、すなわち、
2.誘導体と偏微分方向との関係
定理：点P（x、y）における関数z = f（x、y）が微分可能である場合、いずれかの方向Lの方向誘導体のその時点での機能が存在し、そして持っている
、φはにx軸でありますリットルコーナー方向。
簡単な証明：
より高い次元関数の定理は、例えば進機能のためにuが（方向の空間点P（X、Y、Z）に設けられている指定された方向に定義されてF（x、y、z）を、=誘導体方向角度方向α、β、γ）を以下のように
、
そのため、
3.勾配
そこに、いずれかの方向であり、Lの領域D内の任意の点P（x、y）は、次に、関数z = f（x、y）は平面領域D内の連続一次偏導関数を有し、提供
ベクターは、前記
勾配の点Pの関数f（x、y）と呼ばれ、示さグラ f（x、y）は。
4.勾配方向誘導体
設けられ
、単位ベクトルLの同じ方向
5.なぜ勾配方向は、最も急速に成長している方向の値の関数でありますか？（負の勾配方向は、最速の減少方向の値の関数であります？）
最大指向性誘導体は、それを得るのはいつですか？つまり
1、即ち、単位ベクトルに等しく
、この方向に、すなわち単位ステップ関数の値が同じ方向の勾配ベクトル、最大誘導体の方向は、急速に変化します。理解勾配の方向を逆転させる場合も同様に、関数の値が最も速く減少します。
結論：勾配のポイントの機能は、その方向最大誘導体のための配向の方向と一致するベクトルであり、そのモジュラス最大値指向誘導体。だから、はい、勾配の方向に沿って、方向微分は、正の変化の方向の関数は、この方向で最速増加しています。