機械学習|スイカ本研究ノートのCH06：SVM

6.0背景

SVM	柔軟	能力（任意精度の角度の任意の連続関数を近似します）	事務所の数学的理論	グローバル最適なソリューション	パラメータを手動で調整なし	大きな計算オーバヘッド（相対）	難しいのフィールドサポート	科学的なコミュニティサービス
神経回路網	柔軟	能力	理論は、認知から、不明です	局所最適解	手動パラメータ調整への依存	ビッグまたは小規模	どこでもフィールドサポート	サービス産業

6.1間隔とサポートベクター

• 間隔（マージン）：許容範囲が良い、高い堅牢性、最強の一般化である、「ミドル」を選択

• 汎化：未来のデータを予測する能力

• SVM（サポートベクター）：距離の超平面最後のいくつかのポイント（ポジティブサンプルとネガティブサンプル）

• 最大間隔：直線までの最短距離の点= 1 W（往復スロープ）/
  $引数\ MAX_ {W、B} \ FRAC {2} {|| W ||} \\番目のY_I（^ TX_I + B w）は\ GEQ 1は、iは1,2、...、Mを= \\等价于↓\\引数\ MIN_ {W、B} \ FRAC {1} {2} || || ^ 2 \\番目のY_I W \ GEQ 1（^ TX_I + B w）は、iは1,2 = ,. ...、mは。$

• 凸関数とは何か：Y = X ^ 2、我々は凸最適化、グローバル最適なソリューションを持っている必要があります（二次微分が正）

双対問題の6.2ペア

• ラグランジュ乗数法：高次元関数は、制約条件を低減します

• ソリューションのスパース：KKT条件

  • ${ケースを}開始\ \ alpha_i \ GEQ 0、\\ y_if（X_I）\ GEQ 1、\\ \ alpha_i（y_if（X_I）-1）= 0 \端{ケース} \\必有\ alpha_i = 0 \或\ y_if（X_I）= 1$

  • のみサポートベクトルの数と関連し、wが決定

• mosekツール

• （SMO）

6.3カーネル

• 直線切っても切れない：高次元空間を確立するために、L次元、線形分類
• マーサー定理（フル不要）：限りに対応する機能対称カーネル行列半正定値（全て非負式マスター）、それはカーネル関数として使用することができます

6.4ソフト間隔と正則

• 0/1損失関数：スペーサーと損失の間の妥協を取ります
• 問題：0/1損失関数非凸、非連続、簡単に最適化
• 代替損失：0/1損失関数の一般的な上限
• 正則化
  • 対数回帰チャンス
  • 最小絶対収縮選択オペレーター（LASSO）

6.5サポートベクトル回帰

• ミス間隔より大きなドット、少ない数

• 損失関数

• 二次計画：目標は二次関数で、制約は一次関数であります

6.6カーネル法

• 原子力SVM
• カーネルPCA
• 核LDA
• 再生核ヒルベルト空間（再生核ヒルベルト空間）