機械学習章VIスイカ帳SVMノート

1、SVMは、（ベクタをサポート）：式の確立を満たすように距離超平面いくつかの最近の訓練サンプル点です。これは、同じ絶対値である超平面の点（最も近い）の他方の側との面の一方の側に個々のドット（最も近い）ことを理解されたいです。この式は、2つの重要な質量を有する：W =（W1、..のW2）法線ベクトル、B変位用語。
図2に示すように、二次計画（二次プログラミングは、QPが呼ばれる）非凸二次最適化と凸二次最適化を含む、典型的な最適化問題です。そのようなA問題では、目的関数は、変数の二次関数で、変数の制約は線形不等式です。
 　　1）従来の二次計画の溶液である：楕円（楕円法）、内点法（内点）は、）ラグランジュを拡張（ラグランジュを増強、勾配投影法（勾配投影）などが挙げられます。
3、SMO（シーケンシャル最小の最適化）：実際のタスクに双対問題（双対問題を）解決するためには、大きなオーバーヘッドが導入原因となります。
図4に示すように、次いで、高次元の特徴空間が存在しなければならない元の有限次元空間、属性、すなわち限られた数は、試料に分割することができる場合。
5、カーネル（カーネル関数）
 　　。1）は、長いA対称カーネル行列半正定値に対応する関数のように、彼は、カーネル関数として使用できます。
 　　2）、カーネル関数のいずれかが暗黙的「と呼ばれる定義された再生核ヒルベルト空間」（。再生核ヒルベルト空間、）RKHSをしますと呼ば特徴空間。
 　　私たちがしたいので、品質は宇宙SVMの性能特性にとって極めて重要であるので3）、特徴空間内のサンプルは、線形に分けることができます。
 　　4）、暗黙的に特徴空間を定義するカーネル関数は、「カーネル関数の選択は、」最大の変数のサポートベクトルマシンであるため。
6、ソフト間隔（ソフトマージン）：本当の実用上の問題で、それは、適切なカーネル関数を見つけることは困難である特徴空間におけるトレーニングサンプルが線形分離可能になり、さらには、適切なカーネル関数を見つけるには、特徴空間の線形トレーニングセットを作ります分離可能な、この一見線形分離結果は、オーバーフィッティング原因によるものではない、この問題を軽減する一つの方法は、ソフト間隔を導入して、いくつかのサンプルではSVMの誤差を許容することであると結論することは困難です。
7、凸最適化手法を解決するための手段によって、通常、サポートベクターマシン。