读PRML：第一部分

写在前面

• 本文仅记录一些知识点，为了避免自己遗忘，定期查看，所以并不适合其他人参考学习。

有监督学习任务

• 分类（Y是离散值，解决方案： $max_{c_i}P(c_i|x)$ ,求条件概率 ）
• 回归（Y是连续值，最优解=条件期望= $\int yp(y|x)dy$，y已知，主要求条件概率）

三种方法（前两种是概率模型，找条件概率分布）

• 生成模型（通过贝叶斯公式间接求解条件概率 联合概率/边缘概率）
• 判别式模型（直接求条件概率）
• 判别函数

两种准则

• 经验风险最小
• 结构风险最小（考虑了模型复杂度）

正则项

• 权向量L1范数的作用，为什么会稀疏？
• L2范数的作用，为什么权值会变小？

模型选择

• 多项式例子中M如何选择？
• 正则项中 $\lambda$ 的意义？如何取值？ （交叉验证）
• 目标在期望风险最小，而不是训练误差最小！！

偏差方差分解

• 期望损失=偏差平方+方差+噪声
• 偏差的意义，方差的意义
• 偏差，方差与 $\lambda$
• 平衡偏差，方差
• 能根据训练集，验证集，测试集的结果，分析偏差方差，然后改进模型

作业

• 多项式拟合
  作业参考：https://nbviewer.jupyter.org/github/ctgk/PRML/blob/master/notebooks/ch01_Introduction.ipynb