何
従来の可変のX-複数の
。1
、X-
2
、X-
3
、... Yが結果データに影響を与える、これらの変数は現在X-を必要とされる
N-
影響重量の最終結果。これらの重みの値に合わせてライン(2つの変数)、平面(3変数)を見つけます。これらのパラメータは、学習データにより得られ、その後、これらのパラメータ(モデル)を使用して、新しいデータを予測しています
例えば、嵌合面:
間で θ0表示预置的权重参数。
-
エラー
確かに実際の値と予測値との差異に
エラーは独立しており、平均0、分散と同じ分布を持っていますθ2的高斯分布(正态分布)
尤度関数:我々のデータの組み合わせでパラメータの種類を正確に真の値。サンプルデータ- >パラメータ、パラメータ推定。最大尤度関数、最尤推定、したがって最大確率の真値に沿って、結果は。
対数尤度:、対数尤度関数のように、簡単に計算します。
目的関数:星のシンプルな対数尤度から、より大きな目的関数値が小さいほど尤度関数値。ゼロ点に偏導関数の内の数の目的関数の偏導関数、最小値の点:
-
評価
最も一般的に使用される基準:R&LT 2、予定をもたらす1に近い値。
-
勾配降下
目的関数を取得した後、どのようにそれを解決します。
目的関数:関数の終わりである谷の最低点を、見つけるために
複数のパラメータがある場合は、各パラメータは、極端な値の分布、各時間を求めている少し、常に更新されたパラメータ
方法下り勾配:
-
-
バッチ勾配降下
-
簡単には、最適解を得るために、しかし、すべてのサンプルを検討するたびに、速度が非常に遅いです
-
-
確率的勾配降下
-
たびに、サンプル、速い反復速度を見つけるが、収束の方向に常にありません
-
-
低ボリュームバッチ勾配降下
-
より実用的な、計算するために各更新データの小さな部分を選択
非同期長い(学習率)の結果に重大な影響を与えます。もはや小さな、小さな開始値から、一般的には小さくありません。マシンリソースの場合のバッチサイズは、できるだけ大きく許容します。
なぜ
どうやって