统计学习
什么是统计学习？基于数据构建模型，再利用模型分类回归的方法
一般分为监督学习，无监督学习，强化学习，半监督学习
什么是统计学习方法的三要素？模型，策略，算法
什么是模型？ 条件概率分布形式，决策函数形式
什么是假设空间？备选模型的集合
什么是策略？ 选择模型的准则
对于分类问题，用0，1损失函数
对于回归问题 用绝对值损失或者平均损失
对于概率问题 用对数损失
监督学习的两个基本策略
1.经验风险最小化
2.结构风险最小化
什么是算法？ 求解最优模型的算法 包括在线学习和批量学习
若优化问题存在显式解析解，算法简易通常不存在解析解，需要数值计算方法，比如梯度下降法
监督学习与无监督学习
监督学习的数学解释？ 学习输入到输出映射的统计规律
无监督学习的数学解释？学习数据的内在结构
输入空间和特征空间区别？一般是一个意思，但是涉及svm,输入空间经过核函数映射到特征空间
从变量类型角度解释回归问题，分类问题，标注问题
回归问题：输入变量与输出变量都是连续变量
分类问题：输出为有限个离散问题
标注问题：输入输出都为离散序列
正则化
L1范数和L2范数
L1范数为什么可以选择参数稀疏的模型？
选择参数绝对值的求和项
L2范数为什么可以参数筛选？
数学表达规范
