机器学习算法系列(四)

本篇博客主要学习分享支持向量机的原理、算法及简单的python代码实现

3、支持向量机

先来通俗了解一下其是干什么用的、怎么来的：

作用就是分类，如下图分类红蓝球，找到最好的线性方程如下中间的斜着的黑线wx+b=0，当有更多的样本进入时使用黑线作为分类线的鲁棒性更好(也就是对于两侧新进入的样本其在不越界的前提下活动范围更广)；

如下图三条线的值为1，0，-1，带入球的值使其等式等于1/-1的球点即为‘支持向量’，如下的G、S、R三个点；当等式的值>=1或<=-1时即分开了类别；
这里写图片描述

低维非线性的分界线其实在高维是可以线性分割的，理解如下：在二维平面时一条直线无法完美分类时，当把其扩展到高维时即可用超平面hyperplane将其分割开来(这就是超平面的含义)(即低维时的曲线分割到了高维就变成了超平面)
这里写图片描述

还不明白的话，详细具体讲解见：https://www.zhihu.com/question/21094489

对于其核心内部的算法原理，说实话我现在也不是非常清晰，待以后补充添加；具体可参见周志华的机器学习笔记系列：https://blog.csdn.net/u011826404/article/details/54647611

下面来看一下其具体的python代码实现：

#基于iris数据集的svm算法训练分类，实现绘图展示
import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm, datasets

# 导入数据集
iris = datasets.load_iris()
X = iris.data[:, :2]  # 为画图显示更直观，只取前两维特征
y = iris.target 

h = .02  # 网格中的步长      
C = 0.8  # SVM正则化参数
#这里是调用svm的不同算法进行效果比较
svc = svm.SVC(kernel='linear', C=C).fit(X, y) # 线性核 C
rbf_svc = svm.SVC(kernel='rbf', gamma=0.7, C=C).fit(X, y) # 径向基核
poly_svc = svm.SVC(kernel='poly', degree=3, C=C).fit(X, y) # 多项式核
lin_svc = svm.LinearSVC(C=C).fit(X, y) #线性核

# 创建网格，以绘制图像
x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, h),
                     np.arange(y_min, y_max, h))

# 图的标题
titles = ['SVC with linear kernel',
          'LinearSVC (linear kernel)',
          'SVC with RBF kernel',
          'SVC with polynomial (degree 3) kernel']


for i, clf in enumerate((svc, lin_svc, rbf_svc, poly_svc)):
    # 绘出决策边界，不同的区域分配不同的颜色
    plt.subplot(2, 2, i + 1) # 创建一个2行2列的图，并以第i个图为当前图
    plt.subplots_adjust(wspace=0.4, hspace=0.4) # 设置子图间隔

    Z = clf.predict(np.c_[xx.ravel(), yy.ravel()]) #将xx和yy中的元素组成一对对坐标，作为支持向量机的输入>，返回一个array
    print(clf.score(X,y))
    # 把分类结果绘制出来
    Z = Z.reshape(xx.shape) #(220, 280)
    plt.contourf(xx, yy, Z, cmap=plt.cm.Paired, alpha=0.8) #使用等高线的函数将不同的区域绘制出来

    # 将训练数据以离散点的形式绘制出来
    plt.scatter(X[:, 0], X[:, 1], c=y, cmap=plt.cm.Paired)
    plt.xlabel('Sepal length')
    plt.ylabel('Sepal width')
    plt.xlim(xx.min(), xx.max())
    plt.ylim(yy.min(), yy.max())
    plt.xticks(())
    plt.yticks(())
    plt.title(titles[i])

plt.show()

执行效果如下：准确率及模拟效果
这里写图片描述

其实这里的python代码并没有什么技术含量，主要是一些参数的自我调试，对于核心的算法都是封装好的；所以中间对于核心算法的省略还是非常痛心的(只怪自己粗浅)，希望可以尽快补上与大家分享学习！

机器学习算法系列(四)

猜你喜欢