深層学習 - サポート ベクター マシン (SVM)

1. はじめ
に 機械学習の分野では、SVM (サポート ベクター マシン) は教師あり学習モデルであり、通常、パターン認識、分類 (外れ値検出)、および回帰分析に使用されます。SVM アルゴリズムでは、データを n 次元空間にプロットし (n はデータの特徴の数を表します)、データを 2 つのカテゴリに分離できる超平面を見つけます。SVM は通常$これはバイナリ分類問題で使用され$、複数クラスの問題ではうまく機能しません。
SVMの学習アルゴリズムは、凸二次計画法を解くための最適化アルゴリズムです。SVM 学習の$基本的な考え方は、トレーニング\; データ\; セットを正しく分割し、最大の幾何学的間隔を持つ分離超平面を解くことです$。線形分離可能なデータセットの場合、そのような超平面 (つまり、パーセプトロン) は無数に存在しますが、最大の幾何学的間隔を持つ分離超平面は一意です。
SVM は、2 つのクラスを区別してマージンを最大化できる分割超平面を探します。超平面を分割する方がよく、サンプルの局所的な乱れがサンプルに与える影響は最も少なく、分類結果は最も堅牢で、未見の例に対する一般化能力は最も強力です。
どの超平面でも、その両側のデータ点にはその超平面からの最小距離 (垂直距離) があり、2 つの最小距離の合計が間隔になります。たとえば、下図の 2 つの点線で形成される帯状の領域はマージンであり、点線は中央の実線に最も近い 2 点によって決まります (つまり、サポート ベクトルによって決まります)。ただし、この時点ではマージンが比較的小さいため、2 番目の方法で描画するとマージンが大きくなり、目標に近づきます。


2. SVMとKNNの違い
KNN分類問題：$K値を決定し、どの点がどのタイプに近いかを円で描きます$

。KNN にはトレーニング プロセスはありません。基本原理は、トレーニングで予測する必要があるサンプル ポイントに最も近い K 値を見つけることです。データセット (ユークリッド距離などの距離を使用できます。K の値は自分で調整する必要があります) を使用して分類を実現します。
SVM 分類問題:$決定境界を見つけてデータを分割します。SVM$
はデータセットを分割するために超平面 wx+b を必要とします (ここでは例に線形分割できます)。そのため、値を見つけるためのモデル トレーニング プロセスが存在します。 wとbの。トレーニングが完了した後は、それを予測に使用することができ、サンプル点 x のラベルは関数 y=wx+b の値に従って決定され、トレーニング セットを考慮する必要はありません。SVM の場合、モデルは最初にトレーニング セットでトレーニングされ、次にそのモデルを使用してテスト セットを直接分類します。

参考:
ディープ ラーニング アルゴリズム 2-SVM の原則
ディープ ラーニング SVM
ディープ ラーニング - SVM
ディープ ラーニング レッスン 4 - SVM