高い数学に関連した機械学習、線形代数、確率論を教えます
概要：
最適化の基本的な考え方
勾配降下法
ニュートン法は、
降下法座標
直面数値最適化問題を
ラグランジュ法の
凸最適化問題
の凸集合
の凸関数
凸最適化
ラグランジュデュアル
KKT条件
最適化の基本的な考え方：
最適化問題は、典型的には、（x）は、F、多機能であり、X∈R、極端な値または最大値の関数を計算することであるN-、最適化問題は、一般的に必要とされる最小値問題として表現されます。
最適化変数が目的関数と呼ばれ、F（X）をXと呼びます。
そこでは、X、一つ以上の等しいか等しくない制約制約の制約もあり、両方の等式制約が不等式制約を持っていて、これはより複雑です。
そして可能領域に設定された制約条件を満足する組成D.内で定義されるX F（X）と呼ばれています
誘導体または勾配の局所最小グローバル最小の極値点がゼロに等しい、機械学習機能は、一般的に導出されています。
ゼロの一次導関数を求めて直接はまだ極端なポイントを解決することができないのですか？しかし、実際には超越方程式があるだろう、方程式を解くためではなく、現実的ではありません。次のとおりです。
反復法を使用するには、この場合には、誘導体の未知量を見つけるための反復の継続的に更新値がゼロ点です。
勾配降下：
第1の数値最適化（近似解ではなく、理論的な厳密解）アルゴリズム、勾配降下法が呼び出されます。
反復勾配降下方程式の導出：
xがXであれば0：δ近傍、次いで高次微小項目のテイラー展開が破棄され、近似式が成り立ちます。
F（X）= F（X 0まで）+▽ T F（X 0）（XX 0）+ O（XX 0）、xのX 0 Fδ近傍（X）≈f（X 0）+ ▽ T F（X- 0）（XX 0である）、F（X）（X- -f 0）≈▽ T F（X- 0）（X-X 0）、次に、F（x）を作成する方法fより（X- 0）小さく、それの最小点に徐々に接近？▽ましょT F（X 0（XX）0がゼロ未満です）。ゼロよりも、それをどのように行うのか？▽にしましょうT F（X 0）（XX 0）へ、次いでゼロ未満、▽でT F（X 0）、（XX 0（）ベクトル90度の間の角度よりも大きい、撮影XX 0）ただし、f（x）は、すなわち、X、最速落ちる、負の勾配方向であるK + 1 = X K -R＆F▽LT X（にK）、（XにここでF▽ K）ステップ係数rが先行、維持するためにX-のK + 1とX-のK X-の満ちている過去からK + 1 X-でk個の近傍は十分に小さいRである複数の用語、でテイラー展開を無視することができます。
実現の詳細：
初期値を設定し、極端なポイントの開始点まで可能近い限り、何点から開始さxは。
十分に0に近いR＆LTの適切な数の、通常経験値から選択されたステップサイズの選択は、時々動的調整反復処理と、正であってもよいです。
繰り返し終了判定ルール、||▽F（XへK）||≤ε、ゼロに十分に小さい勾配近い場合、ループ終了、または反復のセット数。
ニュートン法：
また、数値最適化アルゴリズム、ニュートンは物理学者や数学者だった、ニュートンとライプニッツが一緒に微積分を発明し、それが数学の歴史の中で飛躍です。