1.试证明样本空间中任意点x到超平面(w,b)(w,b)的距离为式(6.2)。
超平面(w,b)(w,b)的平面法向量为ww， 任取平面上一点x0x0，有wTx0+b=0wTx0+b=0。xx到平面的距离就是xx到x0x0的距离往ww方向的投影，就是|wT(x−x0)||w|=|wTx+b||w||wT(x−x0)||w|=|wTx+b||w|。
2.使用libsvm,在西瓜数据集3.0α3.0α上分别用线性核和高斯核训练一个SVM,并比较其支持向量的差别。
(由于电脑的vs是2015的，而matlab上最高只支持2013来编译libsvm，所以只能在vs上用libsvm)
训练的结果是线性核与高斯核得到了完全一样的支持向量，由于没去分析libsvm内部是如何计算的，这里只贴结果。
第一列是支持向量的权值，后面则是支持向量对应的属性
aiai x1 x2
1 0.697 0.46
1 0.744 0.376
1 0.634 0.264
1 0.608 0.318
1 0.556 0.215
1 0.403 0.237
1 0.481 0.149
1 0.437 0.211
-1 0.666 0.091
-1 0.243 0.267
-1 0.343 0.099
-1 0.639 0.161
-1 0.657 0.198
-1 0.36 0.37
-1 0.593 0.042
-1 0.719 0.103
3.选择两个UCI数据集，分别用线性核和高斯核训练一个SVM，并与BP神经网络和C4.5决策树进行实验比较。
使用的是iris数据集，选取其中分类为1，2的样本，各50个，4属性。
每类选前40个样本训练，后10个样本作为测试
线性核：找出3个支持向量
ai x1 x2 x3 x4
0.04 5.1 3.3 1.7 0.5
0.16 4.8 3.4 1.9 0.2
-0.20 4.9 2.5 4.5 1.7
偏置为1.50709
高斯核：找出9个支持向量
ai x1 x2 x3x3 x4x4
0.48 4.4 2.9 1.4 0.2
0.45 4.3 3 1.1 0.1
0.90 5.7 4.4 1.5 0.4
-0.17 6.3 3.3 6 2.5
-0.66 4.9 2.5 4.5 1.7
-0.03 6.5 3.2 5.1 2
-0.40 7.7 2.6 6.9 2.3
-0.15 6 2.2 5 1.5
-0.41 7.9 3.8 6.4 2
偏置为-0.212437
编写一个验证的matlab程序
tmp.xlsx验证数据表格
读取数据
w1 = xlsread('C:\Users\icefire\Desktop\ml\tmp.xlsx', 'sheet1', 'A1:C1');
w2 = xlsread('C:\Users\icefire\Desktop\ml\tmp.xlsx', 'sheet1', 'D1:L1');
x1 = xlsread('C:\Users\icefire\Desktop\ml\tmp.xlsx', 'sheet1', 'A2:C5');
x2 = xlsread('C:\Users\icefire\Desktop\ml\tmp.xlsx', 'sheet1', 'D2:L5');
x = xlsread('C:\Users\icefire\Desktop\ml\tmp.xlsx', 'sheet1', 'A7:T10');
y1=zeros(20,1);
y2=zeros(20,1);
%验证线性核
for i=1:20
for j=1:3
y1(i)=y1(i)+w1(j)*(x(:,i)'*x1(:,j));
end
end
y1=y1+1.50709;
%验证高斯核
for i=1:20
for j=1:9
y2(i)=y2(i)+w2(j)*exp(-0.25*(x2(:,j)-x(:,i))'*(x2(:,j)-x(:,i)));
end
end
y2=y2-0.212437;
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
得到结果表格如下
y1 y2 y
1.155205016 1.164557907 1
0.997242309 0.780919564 1
1.148298718 1.068992278 1
0.906038093 1.085988234 1
0.842638654 1.042299416 1
1.035492502 1.062906963 1
1.062585631 1.141980465 1
1.09304642 1.100071803 1
1.101546038 1.141056647 1
1.103671899 1.13405161 1
-1.839224592 -1.049900524 0
-1.542242776 -0.95432202 0
-1.471406411 -1.085122464 0
-1.958761346 -1.084832335 0
-1.895362864 -1.029274823 0
-1.608120552 -1.002438466 0
-1.448029593 -1.0262247 0
-1.519044109 -1.03794725 0
-1.658415695 -0.995288562 0
-1.402518712 -1.058306748 0
这里没和神经网络和决策树做对比了，这个数据集的数据线性可分，应该都是0误差。
4.讨论线性判别分析与线性核支持向量机在何种情况下等价。
在线性可分的情况下,LDA求出的wlwl与线性核支持向量机求出的wsws有wl∗ws=0wl∗ws=0，即垂直，此时两者是等价的。
当初在做这个题的时候也没细想，就想当然的认为在线性可分时两者求出来的w会垂直，现在看来并不一定。
首先，如果可以使用软间隔的线性SVM，其实线性可分这个条件是不必要的，如果是硬间隔线性SVM，那么线性可分是必要条件。这个题只说了是线性SVM，就没必要关心数据是不是可分，毕竟LDA是都可以处理的。
第二，假如当前样本线性可分，且SVM与LDA求出的结果相互垂直。当SVM的支持向量固定时，再加入新的样本，并不会改变求出的w，但是新加入的样本会改变原类型数据的协方差和均值，从而导致LDA求出的结果发生改变。这个时候两者的w就不垂直了，但是数据依然是可分的。所以我上面说的垂直是有问题的。
我认为这个题的答案应该就是，当线性SVM和LDA求出的w互相垂直时，两者是等价的，SVM这个时候也就比LDA多了个偏移b而已。
5.试述高斯核SVM与RBF神经网络的联系
RBF网络的径向基函数与SVM都可以采用高斯核，也就分别得到了高斯核RBF网络与高斯核SVM。
神经网络是最小化累计误差，将参数作为惩罚项，而SVM相反，主要是最小化参数，将误差作为惩罚项。
在二分类问题中，如果将RBF中隐层数为样本个数，且每个样本中心就是样本参数，得出的RBF网络与核SVM基本等价，非支持向量将得到很小的ww.
使用LIBSVM对异或问题训练一个高斯核SVM得到αα，修改第5章RBF网络的代码，固定ββ参数为高斯核SVM的参数，修改每个隐层神经元的中心为各个输入参数，得到结果ww,w与αw与α各项成正比例。
6.试析SVM对噪声敏感的原因。
答案1：SVM的基本形态是一个硬间隔分类器，它要求所有样本都满足硬间隔约束(即函数间隔要大于1)，所以当数据集有噪声点时，SVM为了把噪声点也划分正确，超平面就会向另外一个类的样本靠拢，这就使得划分超平面的几何间距变小，降低模型的泛化性能。除此之外，当噪声点混入另外一个类时，对于硬间隔分类器而言，这就变成了一个线性不可分的问题，于是就使用核技巧，通过将样本映射到高维特征空间使得样本线性可分，这样得到一个复杂模型，并由此导致过拟合（原样本空间得到的划分超平面会是弯弯曲曲的，它确实可以把所有样本都划分正确，但得到的模型只对训练集有效）。
原文：https://www.jianshu.com/p/8a499171baa9
答案2：应该是会过拟合。因为SVM约束条件就是对于每个样本要正确分类，至于间隔最大是在这个约束条件的基础上进行的，所以如果约束条件成立就已经导致模型非常复杂，然后过拟合，那么就算是用 min WW 进行约束，也已经效果不大。就跟“扬汤止沸不如釜底抽薪”一样。我的这个想法是源自正则化。正则化是通过添加结构化风险使得经验风险不会太小，防止过拟合。而对于SVM来说，经验风险已经是0了，如果数据结构不是接近线性的话，过拟合的可能性就很大的。
原作者：z2539329562 原文：https://blog.csdn.net/z2539329562/article/details/79199384
7.试给出式(6.52)的完整KT条件。
非等式约束写成拉格朗日乘子式，取最优解要满足两个条件。拉格朗日乘子式对所有非拉格朗日参数的一阶偏导为0
非等式约束对应的拉格朗日项，要么非等式的等号成立，要么对应的拉格朗日参数为0
所以得到完整KT条件
w=∑i(α′i−αi)xiw=∑i(αi′−αi)xi
0=∑i(α′i−αi)0=∑i(αi′−αi)
对所有的ii
C=αi+uiC=αi+ui
C=α′i+u′iC=αi′+ui′
αi(f(xi)−yi−ε−ξi)=0αi(f(xi)−yi−ε−ξi)=0
α′i(yi−f(xi)−ε−ξ′i)=0αi′(yi−f(xi)−ε−ξi′)=0
(C−αi)ξi=0(C−αi)ξi=0
(C−α′i)ξ′i=0(C−αi′)ξi′=0
8.以西瓜数据集3.0α的“密度”属性为输入，“含糖率”为输出，使用LIBSVM训练一个SVR。
含糖率和密度有什么必然联系吗？训练后得到的支持向量为
αiαi 密度xixi
1 0.697
1 0.744
0.798 0.608
-1 0.666
0.452 0.243
-1 0.245
-0.25 0.343
1 0.36
-1 0.593
-1 0.719
偏置为 0.213589
得到含糖率与密度的关系
假设密度为xx
含糖率(x)=∑iαie−(x−xi)2+0.213589(x)=∑iαie−(x−xi)2+0.213589
9.试使用和技巧推广对率回归，产生“核对率回归”。 http://blog.csdn.net/icefire_tyh/article/details/52135526
10.设计一个显著减少SVM中支持向量数目而不显著降低泛化性能的方法。
对于线性的SVM，三个属性不完全一样的支持向量就能确定这个SVM，而其他的落在边缘上的点都可以舍弃。
本文转载自：https://blog.csdn.net/icefire_tyh/article/details/52135662
原作者：四去六进一 来源：CSDN