统计学习方法-一些概念

统计学习方法三要素

1. 模型：模型的假设空间，即假设要学习的模型属于某个函数的集合，即有输入空间到输出空间的映射的集合
2. 策略：模型选择的标准
3. 算法：模型学习的算法，实现求解最优模型的算法

---

统计学习包括监督学习、非监督学习、半监督学习、强化学习。

---

根据输入输出变量类型的不同，对预测任务给予不同的名称：

1. 输入、输出均为连续变量：回归问题
2. 输入为连续变量，输出为离散变量：分类问题
3. 输入和输出均为变量序列：标注问题

---

监督学习：

由于学习过程中需要训练数据，而训练数据往往是人工给出的，因此称为监督学习。

监督学习的模型可以是概率模型或非概率模型，由条件概率分布P(Y|X)或决策函数Y=f(X)表示。

（xi，yi）称为样本或样本点；xi称为输入的观测值或实例；yi称为输出的观测值或输出。