では、線形回帰、多くの場合、正則化項に参加する上でフィットを防止するために、原則を教えています。一般的な正則化正則は、L1とL2正則があります。
1.LASSOリターン
線形回帰と呼ばれるL1正則用語LASSO回帰を追加します。L1ノルムパラメータ、和の絶対値の各コンポーネントのパラメータベクトルである人気の点、即ち、のためのものであるL1正則用語\（\シータ=（\ theta_0 、\ theta_1、\ cdots、\ theta_n）^ T \）パラメータベクトル、L1は、正則化項であります：
| \ [\ \左 \シータ\右\ | _1 = \ sum_ {J = 0} ^ N | \ theta_j | \]
通常因子の追加（\ラムダ\）\を正則化項の重みを調整するために、目的関数（損失関数）のようにLASSO回帰は次のとおりです。
\ [J（\シータ）= \ FRAC {1} {2} \ sum_ {i = 1} ^ M（H（X ^ {（I）}） - y ^ {（I）}）^ 2 + \ラムダ\ sum_ {J = 0} ^ N | \ theta_j | = \ FRAC {1} {2} \左（Xの\シータ-Y \右）^ T \は（Xの\シータ-Y \右）左+ \ラムダ\左\ | \シータ\権\ | _1 \]
投げ縄の回帰係数は、機能のいくつか（すなわち、いくつかのことをゼロようであることができる\（\ theta_j \）がゼロである）、すなわち、疎な溶液を得ました。
以来\（| \ theta_j | \）実用的なアプリケーションでは、近似解を求めることができるので、つながらを求めます。機能のために\（F（X; \アルファ）= X + \ FRAC 1 {{} \}アルファ\ログ（1+ \ EXP（ - \アルファX））、X \ GE 0 \） 、絶対値が近似することができます。次のように：
| X | \ [\ {整列}始め ＆\のおおよそのF（X; \アルファ）+ F（-x; \アルファ）\\＆= X + \ FRAC {1} {\アルファ} \ログ（1+ \ EXP（ - \アルファX）） - X + \ FRAC {1} {\アルファ} \ログ（1+ \ EXP（\アルファX））\\＆= \ FRAC {1} {\アルファ} \ \（左ログ（1+ \ EXP（ - \アルファX））+ \ログ（1 + \ EXP（\アルファX））\右）\\ \端{整列} \]
したがって、\（| X | \）勾配及び二次導関数のは、上記近似式により決定することができます。
| X | \ [\ {整列} \のナブラを開始 ＆\約\ FRAC {1} {\アルファ} \ \ FRAC（左{ - \アルファ\ EXP（ - \アルファX）} {1+ \ EXP（ - \アルファX）} + \ FRAC {\アルファ\ EXP （\アルファX）} {1+ \ EXP（\アルファX）} \右）\\＆= \ FRAC {\ EXP（\アルファX）} {1+ \ EXP（\アルファX）} - FRAC \ { \ EXP（ - \アルファX）} {1+ \ EXP（ - \アルファX）} \\＆= \左（1 - \ FRAC {1} {1+ \ EXP（\アルファX）} \右） - \左（1 - \ FRAC {1} {1+ \ EXP（ - \アルファX）} \右）\\＆= \ FRAC {1} {1+ \ EXP（ - \アルファX）} - FRAC \ { 1} {1+ \ EXP（\アルファX）} \\ \ナブラ^ 2 | X | ＆\約\ナブラ（\ FRAC {1} {1+ \ EXP（ - \アルファX）} - FRAC {1} {1+ \ EXP（\アルファX）} \）\\＆= \ FRAC {\アルファ\ EXP（ - \アルファX）} {（1+ \ EXP（ - \アルファX））^ 2} + \ FRAC {\アルファ\ EXP（\アルファX）} {（1+ \ EXP（\アルファX） ）^ 2} \\＆= \ FRAC {\アルファの\ FRAC {1} {\ EXP（\アルファX）}} {（1+ \ FRAC {1} {\ EXP（\アルファX）}）^ 2} + \ FRAC {\アルファ\ EXP（\アルファX）} {（1+ \ EXP（\アルファX））^ 2} \\＆
一般的な問題のために、\（\アルファ\）とは、一般的に（^ \ 6 10）を\します。
おおよその勾配を使用して、目的関数の一次導関数が得られます。
\ [\ FRAC {\部分J（\シータ）} {\部分\シータ} \約X ^TXθ-X ^ TY + \ FRAC {\ラムダ} {1+ \ EXP（ - \アルファ\シータ）} - \ FRAC {\ラムダ} {1+ \ EXP（\アルファ\シータ）} \]
明らかに、得られた誘導体はゼロ良好ではない\（\シータ\）値など概して軸と最小角を解決するために降下回帰法です。
2.Ridgeリターン
リッジ回帰は、用語のL2正の線形回帰を添加することです。L2ノルムのパラメータの数である正L2は、のために\（\シータ=（\ theta_0 、\ theta_1、\ cdots、\ theta_n）^ T \） パラメータベクトル、L2は、正則化項です。
| \ [\ \左 \シータ\右\ | _2 ^ 2 = \ sum_ {J = 0} ^ N \ theta_j ^ 2 \]
目的関数（損失関数）のリッジ回帰は次のとおりです。
\ [J（\シータ）= \ FRAC {1} {2} \ sum_ {i = 1} ^ M（H（X ^ {（I）}） - y ^ {（I）}）^ 2 + \ラムダ\ sum_ {J = 0} ^ N \ theta_j ^ 2 = \ FRAC {1} {2} \左（Xの\シータ-Y \右）^ T \は+ \ FRAC {（右Xの\シータ-Y \）を左1} {2} \ラムダ\左\ | \シータ\権\ | _2 ^ 2 \]
第2の\（\ FRAC {1] { 2} \） 後の計算を容易にするために添加されます。リッジ回帰係数は、任意の機能（すなわち、破棄しない\（\ theta_j \）がゼロではない）、回帰係数ような、小さな、比較的安定したが、LASSO回帰に予約されているよりも多くの特徴を有することを。
目的関数のガイドリッジ回帰は次のとおりです。
\ [\開始{整列} \ FRAC {\部分J（\シータ）} {\部分\シータ}＆= \ FRAC {\部分} {\部分\シータ} \左（\ FRAC {1} {2} \ \シータ\右\ | | _2 ^ 2 \右）左（Xの\シータ-Yは\右）^ T \は（Xの\シータ-Y \右）+ \ FRAC {1} {2} \ラムダ\左\を残し\\＆= X ^TXθ-X ^ TY + \ FRAC {\部分} {\部分\シータ} \左（\ FRAC {1} {2} \ラムダ\左\ | \シータ\右\ | _2 ^ 2 \右）\\＆= X ^TXθ-X ^ TY + \ FRAC {\部分} {\部分\シータ} \左（\ FRAC {1} {2} \ラムダ\シータ^ T \シータ\右）\ \＆= X ^TXθ-X ^ TY + \ラムダ\シータ\端{整列} \]
注文誘導体を得ることができ、ゼロです\（\シータ\）値：
\ [\シータ=（X ^ TX + \ラムダI）^ { - 1} X ^ TY \]
得られた目に見える結果の線形回帰解析解を説明外乱一貫した結果で添加されます。