シンプル、粗理解、機械学習線形回帰（IX）の実装：モデル線形正則、リッジ回帰、投げ縄回帰、弾性ネットワーク

直線回帰

学習目標

• 線形回帰の実装プロセスにおける所有権
• アプリケーションの線形回帰やSGDRegressor回帰予測を実現
• 私たちは、評価基準を知っていると数式回帰アルゴリズム
• underfitting原因と解決策を知っている過剰適合
• 私たちは、原則リッジ回帰と線形回帰の違いを知っています
• アプリケーションリッジ回帰予測を実現します
• アプリケーションは、保存と読み込みモデルを達成JOBLIB

2.9正則線形モデル

• リッジ回帰リッジ回帰
• なげなわ復帰
• 弾性ネット弾力性のネットワーク
• 早期停止

1リッジ回帰（リッジ回帰も知らチホノフ正則）

リッジ回帰は、線形回帰の定期的なバージョンでは、正則化（正則化項）線形回帰の元のコスト関数に追加されます。

同時に達成するために可能な限り小さく、リッジ回帰費用関数として、重量の目的のために右モデルをデータにフィット：

• α= 0：リッジ回帰は、線形回帰縮重しています

2ラッソ回帰（ラッソ回帰）

なげなわリターンは、線形回帰、重みベクトルノルムの正規ℓ1エントリの別の定期的なバージョンです。

コストなげなわ回帰関数：

[注]

• θiを= 0に投げ縄回帰コスト関数は、非導電性です。
• 溶液：θiを= 0の代わりに勾配ベクトル（劣勾配ベクトル）の勾配の時に、下記式
• 投げ縄回帰二次勾配ベクトル

なげなわ回帰は、非常に重要な特性があります：完全に重要でない重みを排除する傾向があります。

例えば：α値が比較的大きい場合、二次偶数次多項式の劣化が線形である：右次多項式特徴重みはゼロに設定されます。

すなわち、ラッソ回帰特徴選択を自動的に行うことが可能であり、そして（右の重量がゼロでほんの数そのうち）疎なモデルを出力します。

3弾性ネット（柔軟なネットワーク）

柔軟なネットワークなげなわとリッジ回帰回帰は妥協した、によって比率（混合比）混合rを制御します：

• R = 0：ネットワークは、弾性リッジ回帰なります
• R = 1：弾性ネットワークは、投げ縄に戻ります

弾力性のあるネットワークのコスト関数：

一般的に、我々はの使用は避けるべき単純な線形回帰方法を正則化法を選択すること、特定の正則化プロセスをモデル化するために、その応答を？

要約：

• 共通：リッジ回帰

• 機能のほんの一部分が有用であると仮定すると：

  • 弾性ネットワーク
  • なげなわ
  • 一般的には、ネットワークの耐障害性のより広範な使用。訓練サンプルの数よりも特徴的寸法の大きいため、または強い関連する状況によって特徴付けられる、投げ縄戻り性能が安定していません。

• API：

  • from sklearn.linear_model import Ridge, ElasticNet, Lasso
    

4早期の停止[理解]

早期の停止は、正則反復学習法の一つです。

そのアプローチは次のとおりです。検証エラー率に訓練を停止するには時間の最小値に達します。