アンドリュー・ウ機械学習入門、9- SVMノート

9 SVM -SVM

それは凸最適化であるため、ニューラルネットワークと比較すると、ローカルの最適な問題に陥る心配はありません。

9.1サポートベクターマシンは、機能を想定します

$[画像の外側リンク障害をダンプ（IMG-kyfofqEG-1568603597814）（E：人工知能値下げ\機械学習\写真\ 9.1 SVMのコスト関数.PNG \）]$
\ [H _ {\シータ} （X）= \左\ {\開始{アレイ} {LL} {1}と{\テキスト{X \ GEQ 0} \\ {0} \シータ^ {T}であれば、 }＆{\テキスト{他}
右\} \端{アレイ} \タグ{9.1} \] パラメータを取得するために、上記の式を最小にする（\シータ\）\次の仮説は、SVMの関数として、置換されているとした後、

9.2サポートベクターマシン決定境界

Cが非常に大きい場合には、SVMは、全てのサンプル点の分類を修正しようと、SVMの決定境界は、重要な変更は、特別なポイントのために起こるだろう。SVMは、最大距離のサンプルによって分離されます

$[ピクチャーチェーンダンプ失敗外（IMG-9UMiLXkz-1568603597816）（E：人工知能値下げ\機械学習\写真\ 9.2 SVMの決定境界-C素晴らしい.PNG \）]$

$[ピクチャーチェーン外ダンプ障害（IMG-4I6egZbN-1568603597820）（E：\人工知能値下げ\機械学習\写真9.2 SVMの決定境界\ - 大きなマージン分類器は、.PNGの説明）]$

決定境界パラメータベクトル\（\シータ\）垂直
\（\ theta_0 \）はほぼ同じ効果が、最適化の目的関数、すなわちパラメータベクトルまたは決定境界の原点であり、0に等しくありません
SVMは、実際の最大長さの原点からのパラメータのベクトルに、サンプルベクトルに投影するパラメータを変更、すなわち\（P ^ {（I） }。|| \シータ|| \）の\（P ^ {（I ）} \）最大ながら、所望の\（|| \ ||シータ\）最低。達成することができる（\ \テキスト{分} \ FRAC {1} {2} \ sum_ {J = 1} ^ {N} \シータ^ 2_j \）
従ってSVM分類器も大きい間隔としても知られています

9.3カーネル

この問題を解決することができる非線形SVM法

9.3.1ガウスカーネル - 1つの類似方程式

$[画像の外側リンク障害をダンプ（IMG-u4KDFX7h-1568603597821）（E：人工知能値下げ\機械学習\写真\ \ 9.3.1数字.PNG）]$

$[外链图片转存失败(img-I8xs88Wq-1568603597821)(E:\Artificial Intelligence Markdown\Machine Learning\pictures\9.3.1 高斯核函数.png)]$

$[外链图片转存失败(img-vmtLSIhs-1568603597822)(E:\Artificial Intelligence Markdown\Machine Learning\pictures\9.3.1 改变核函数参数.png)]$

$[外链图片转存失败(img-DU1ey0hN-1568603597822)(E:\Artificial Intelligence Markdown\Machine Learning\pictures\9.3.1 非线性边界获取.png)]$

\（F \）試料と標識算出ガウシアンカーネルに応じて得られる特性変数Xです。

$f\in[0,1]$当训练好参数$\theta$后，根据一个样本x到不同标记的距离大小不同，特征变量不同，即赋予参数不同权重，最后计算出$\theta^Tf$，判断y=0或y=1，从而得到非线性边界

9.3.2 选取标记l的方法

将所有训练样本均作为标记点

$[外链图片转存失败(img-23Oq2Snq-1568603597823)(E:\Artificial Intelligence Markdown\Machine Learning\pictures\9.3.2 选取标记方法.png)]$

9.3.3 线性核函数

即没有核参数的函数

$[外链图片转存失败(img-qEhafMwN-1568603597824)(E:\Artificial Intelligence Markdown\Machine Learning\pictures\9.3.3 线性核函数.png)]$

9.3.4 多项式核函数

效果较差，针对非线性问题

$[外链图片转存失败(img-bfUsIUUS-1568603597824)(E:\Artificial Intelligence Markdown\Machine Learning\pictures\9.3.4 多项式核函数.png)]$

9.4 支持向量机参数与偏差方差关系

9.4.1 C的选择

C($=\frac{1}{\lambda}$)大：即$\lambda$小，$\theta$大，意味着低偏差，高方差，倾向于过拟合

C($=\frac{1}{\lambda}$)小：即$\lambda$大，$\theta$小，意味着高偏差，低方差，倾向于欠拟合

9.4.2 $\sigma^2$的选择

$\sigma^2$大，特征量$f$随着x变化缓慢，即x变化很多，$\theta^Tf$变化很小，边界变化慢偏差较大

\（\シグマ^ 2 \）が小さい場合、特徴量\（F \） xの劇的な変化を有する、すなわちXほとんど変化、\（シータ\の\ ^ TF）はるかに大きな変化、境界の分散の急激な変化

9.5を使用するには、SVMステップ

選択したパラメータC
どこサンプルに基づいて適切なカーネル関数を選択します
選択されたカーネル関数の調製、特性変数を生成するために、すべての入力サンプル
サンプルケースに基づいてズームサンプル割合
特徴の数N（10000）>データに合うようにより複雑な非線形関数であるため、ロジスティック回帰または線形カーネルを使用して、サンプル数m（10〜1000）は、できない場合

サンプルM（10から50000まで）場合、適度な特徴の数N（1-1000）の<数、ガウシアンカーネルを用いて、

特徴の数N（1-1000）<サンプルの数をm（50000+）が大きい場合は、ガウスカーネルでSVMは、より特性変数、ロジスティック回帰および線形カーネルを作成し、手動で、非常にゆっくりと実行されます