機械学習2回帰のケース

損失関数

funcセットの関数の品質を測定するには、評価関数、つまり、損失関数、Lと呼ばれる損失関数が必要です。損失関数は関数の関数です
$L（f）= L（w、b）$

勾配降下

勾配降下法の優れている点は、 $L（f）$は微分可能であり、勾配降下法を使用してこれを処理できます。 $f$、より良いパフォーマンスのパラメータを見つける

正則化（オーバーフィッティングを解決するためのL1、L2正則化）

実データの分布が分からない場合は、損失関数の評価基準をなるべく変えてみます

• 私たちのモデルの表現は、できるだけ多くのパラメーターとできるだけ多くの高い非線形性を含み、できるだけ複雑にする必要があります。
• しかし、私たちの損失関数は、この曲線のパラメータと形状を制御する機能を備えているため、過剰適合とは見なされません。
• 実際のデータが非常に非線形の曲線分布を満たす場合、損失関数制御によってトレーニングされた高次項の係数は比較的大きくなり、結果の曲線がより曲がりやすくなります。
• 実際のデータが低次線形分布を満たす場合、損失関数制御によってトレーニングされた高次アイテムの係数は比較的小さく、または0にさえなり、結果の曲線は線形分布に近くなります。
  そのようなパラメーターを確実に学習できるようにする方法は？これが、L1 L2正則化が発生する理由です。
• L1正則化が追加されました $\ lambda \ sum \ left | w_j \ right |$商品
• L2正則化が追加されました $\ lambda \ sum（w_j）^ 2$本1