【サポートベクターマシン】SVM線形分離型サポートベクター機械学習アルゴリズム - ハードマージン最大化サポートベクターマシンと具体例の詳細説明

サポートベクターマシン (SVM) は 2 クラスの分類モデルです。その基本モデルは、特徴空間上で最大のマージンを持って定義された線形分類器です。線形分離可能なサポートベクターマシン、線形サポートベクターマシン、および非線形サポートベクターマシンが含まれます。

トレーニングデータが線形分離可能な場合、ハードマージンの最大化を通じて線形分類器が学習されます。これは、ハードマージンサポートベクターマシンとも呼ばれる、線形分離可能なサポートベクターマシンです。

線形分離可能なサポートベクター機械学習アルゴリズム

入力: 線形分離可能なトレーニングデータセット $T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\}$ 、ここで $x_i\in$ ${\cal X}={\mathbf{R}}^{n}\:,\quad{\gamma_{i}}\in{\cal Y}=\{-1,+1\}\:, \quad i=1,2,\cdots,N\:;$

出力: 超平面を分離する最大マージンと分類決定関数

1) 制約付き最適化問題の構築と解決

$\begin{array}{ll}{\min_{w,b}}&{\frac{1}{2}\Parallel w\Parallel^{2}}\\{\mathrm{st}}&{y_ {i}(w{\bullet}x_{i}+b)-1\geqslant0,\quad i=1,2,\cdots,N}\\\end{array}.$

最適解を得る $w^{*},b^{*}$

制約を使用してベクトルノルムを最小化する

2) 最適解を置き換える、

分離超平面を取得します。

$w^{*}\cdot x+b^{*}=0$

分類判定機能：

$f(x)=\mathrm{sign}(w^{*}\cdot x+b^{*})$

例

トレーニングデータセット: 正の例の点 $x_{1}=(3,3)^{\mathrm{T}},\quad x_{2}=(4,3)^{\mathrm{T}}$ 、負の例の点 $x_{3}=(1,1)^{\mathrm{T}}$ 、最大分離超平面の検索、分類決定関数およびサポートベクトル

ほどく：

1) 制約付き最適化問題の構築と解決

$\begin{aligned} &\operatorname*{min}_{w,b} \frac{1}{2}({w_{1}}^{2}+{w_{2}}^{2}) \\\\&\mathbf{st} \\ &\mathbf{} 3w_{1}+3w_{2}+b\geqslant1 \\ &4w_{1}+3w_{2}+b\geqslant1 \\ &-w_ {1}-w_{2}-b\geqslant1 \end{aligned}$