此随笔未完成，有待补充！
---------------------------------
由万普尼克建立的一套机器学习理论，使用统计的方法，因此有别于归纳学习等其它机器学习方法。由这套理论所引出的支持向量机对机器学习的理论界以及各个应用领域都有极大的贡献。统计学习理论是一种研究训练样本有限情况下的机器学习规律的学科。它可以看作是基于数据的机器学习问题的一个特例，即有限样本情况下的特例。
损失函数：期望风险， 经验风险， 结构风险。
（1）在统计学习理论中，结构风险定义为经验风险与置信风险的和。
（2）因为在机器学习理论中，虽然经验风险最小化的归纳原则是一致的，但是一致性是在样本数量趋向无穷大时得到了，在样本点个数有限的情况下，仅仅用经验风险来近似期望风险是十分粗糙的，结构风险则是期望风险的一个上界。
VC维：
VC维（外文名Vapnik-Chervonenkis Dimension）的概念是为了研究学习过程一致收敛的速度和推广性，由统计学理论定义的有关函数集学习性能的一个重要指标。
理论研究：
① 学习的统计性能：通过有限样本能否学习得到其中的一些规律？
② 学习算法的收敛性：学习过程是否收敛?收敛的速度如何？
③ 学习过程的复杂性：学习器的复杂性、样本的复杂性、计算的复杂性如何？
如今，统计学习理论在模式分类、回归分析、概率密度估计方面发挥着越来越重要的作用。
【1】机器学习算法的推广性：
推广性是指通过对观测数据进行学习得到的学习机器对未来测试数据进行正确判断或近似预测的能力。前面提到，一个性能优异的学习机器应该使得期望风险最小化，在实际应用中，也就是使得经验风险最小化。而经过长时间的实验与观测，研究人员逐渐发现，经验风险最小化并不总是使得学习机器有着对未知数据良好的预测和判断能力。也就是说，通过对观测数据进行经验风险最小化的学习，并不是总能够得到一个推广能力良好的学习机器。在某些情况下，一味地追求经验风险最小化，反而使得学习机器的推广能力急剧下降，这也就是我们常听到的“过学习”的问题。
“过学习”问题的出现，主要由两方面的因素：首先，原始的观测数据数量并不充分，或者，观测数据并不具有很好的代表性；其次，学习机器在训练经验的选择、目标函数的选择、目标函数的表现形式、逼近算法等方面存在的设计缺陷也会导致过学习问题的出现。
通常来讲，学习机器的复杂性与推广能力两者之间，是矛盾的。复杂的学习机器，只能适应于特定环境、特殊情况下的系统预测问题，从而使得其推广能力变差；另一方面，简单的学习机器虽然具有很好的推广性能，但其却有这很大的误差，甚至无法对训练样本进行准确的预测和近似判断。所以，学习机器的复杂性应该同所研究的系统相关，同时还要同有限的观测数据相适应。