1.1 统计学习

1.统计学习的特点

统计学习： 计算机基于数据构建概率统计模型并运行模型对数据进行预测与分析的一门学科，也成为统计机器学习（statistical machine learning）。
主要特点：（1）与计算机及网络为平台；（2）以数据为研究对象，是数据驱动的学科；（3）目的是对数据进行预测与分析；（4）以方法为中心，统计学习方法构建模型并应用模型进行预测与分析；（5）交叉学科（概率论、统计学、最优化理论等），并有独自的理论体系和方法论。
学习： 一个系统能够通过执行某个过程改进它的性能。统计学习就是计算机系统通过运行数据及统计方法提高系统性能的机器学习

统计学习的对象是数据。从数据出发，提取数据的特征，抽象出数据的模型，学习数据中的知识，并将其应用到对数据的分析与预测中去。
统计学习的前提：统计学习关于数据的基本假设是同类数据具有一定的统计规律性。
同类数据：具有某种共同性质的数据。
随机变量描述数据的特征；概率分布描述数据的统计规律。在统计学习过程中，以变量或变量组表示数据。数据分为连续变量和离散变量。

对数据进行预测与分析。
总的目标：考虑学习什么样的模型，如何学习模型。

分类： 监督学习（supervised learning）、非监督学习（unsupervised learning）、半监督学习（semi-supervised learning）和强化学习（reinforcement learning）。
监督学习的统计学习方法概括：从给定的、有限的、用于学习的训练数据集合出发，假设数据是独立同分布产生的；并且假设要学习的模型属于某个函数的集合（假设空间（hypothesis space））；应用某个评价标准（evaluation criterion），从假设空间中选取一个最优的模型；最优模型的选取由算法实现。这样，统计学习方法包括模型的假设空间、模型选择的准则及模型学习的算法，简称为三要素：模型（model）、策略（strategy）和算法（algorithm）。
实现统计学习方法的步骤：
（1）得到一个有限的训练数据的集合；
（2）确定包含所有可能的模型的假设空间，即学习模型的集合；
（3）确定模型选择的准则，即学习的策略；
（4）实现秋节最优模型的算法，即学习的算法；
（5）通过学习方法选择最优的算法；
（6）利用学习的最优模型对新数据及进行预测或分析。
监督学习方法：分类、标注和回归问题。