機械学習アルゴリズム--SVM

ディレクトリ

勾配降下法、ラグランジュ乗数、KKT条件がリコール
知覚モデルはリコール
SVM線形分離
SVM線形分離不可能な
コア機能を
SMO

SVM線形分離、SVM直線的に切っても切れない、カーネル機能、導出する必要があります

----------------------------

学習率（ステップ）は、二次偏導関数である場合、それはニュートン法た、任意の数とすることができます

最適化問題：

　　ターゲット機能を考えると、制約のいくつかを考えると、それは、最適化モデルを構成しています。反復は、反復する前に、制約のない目的関数でなければなりません。

例双対問題：1、次いで最小値、最大値の最大値を選択し、最小を求めるために変換されます。。図2に示すように、この数のために最小数の最大数に変換反対を見つけます

証明KKT条件の三種類の大きな利点の最適化問題については、この拡張機能では、ルックアップ検索します

元の制約条件を変更しないために、唯一のベータ]> = 0、βは0よりも大きい場合ので、次に、G（x）は<0 =来ないかもしれません。

F（x）がゼロに等しい場合、最小は、目的関数次いで、次のものを必要とし、Lは、次いで、Fの最小化（X）は、Lの最小値が必要とされています。、範囲以来、我々は状況がゼロに等しいものを下に証明するための方法を見つける、物事が0に戻って同じではないことは明らかです。

したがって、道を証明するために：βG= 0

　　以下、開始を考慮しない場合、G（X）<= 0この制約が、唯一の最小値f（x）は、我々は、最適の解x *を得ることができるようになり、最小の誘導体がゼロに等しい見つけます

　　①X *は制約G（X）<= 0に置換されている場合だけゼロ以上である、（すなわち、図（X）<= 0閉じ込め領域から構成されるGである）、次いで、出発がないので、既に制約領域内ことオリジナルの関数f（x）の役割は無用である何の後ろのではないでしょうか？0性質は、その後、β= 0だけわずかにG（X）<0、わずかに無駄です

　　②如果x*代入约束条件g(x)<=0后，x*没在约束区域内，它是在区域外（>0）或者在区域边缘(=0)上,大于0不满足咱们的g(x)<=0的约束条件，pass掉，那只能找咱们等于0的时候了，在圆上，那就是g(x*)=0，那完了，g(x)=0了，βg也等于0 了。

　　证明完毕。

证明方式二：

　　如下图，转化为了从最大值里面挑一个最小值的问题。引入了上界的概念，比如cosx，1,2,3，所有1的倍数都是它的上界，但是1是最小的上界。

最终目的是求x与β的，求β最大值可不好求啊，无数个啊朋友们，所以这里用到对偶了，先求最小再求最大值

最后βg=0.

证明方式三：

　　求minf(x),在约束条件g(x)<=0下，加入松弛变量a²,使得g(x)+a²=0，本来是加a的，为了保证它是正的，所以平方了一下。

原函数成了这样：L=f(x)+λ（g(x)+a²）;为了不改变原来的约束条件，λ>=0

接下来求导就可以了

可知

因此，λg=0

三种证明条件的方法完毕。

所有求不等式的条件：

感知器模型：

　　感知器算法是最古老的分类算法之一，原理比较简单，不过模型的分类泛化能力比较弱，不过感知器模型是SVM、神经网络、深度学习等算法的基础。
感知器的思想很简单:比如班级有很多的同学，分为男同学和女同学，感知器模型就是试图找到一条直线，能够把所有的男同学和女同学分隔开，
如果是高维空间中，感知器模型寻找的就是一个超平面，能够把所有的二元类别分割开。
感知器模型的前提是:数据是线性可分的