机器学习方法概论
基础知识
1 机器学习三要素
构建一个机器学习方法就是确定具体机器学习三要素的过程
机器学习方法=模型+策略+算法
模型:就是所要学习的条件概率分布或决策函数
策略:模型的假设空间包括所有可能的条件概率分布和决策函数,按照什么样的准则学习或选择最优模型.
也就是在假设空间中如何选择最优模型就是策略.
算法:算法就是指学习模型的具体计算方法.
2 模型的评估与选择
模型的评估标准:
模型的训练误差,模型的测试误差
模型的选择:
常用的模型选择方法,正则化,交叉验证 …
3 泛化能力
泛化能力是指该方法学习到的模型对未知数据的预测能力
一般情况下是利用测试误差来评价学习方法的泛化能力.(这个方法不是很好,太依赖于测试数据集)
思想脉络
整个流程就是:
机器学习基于整个训练数据集,根据学习策略 从假设空间选取最优模型,最后考虑用什么样的计算方法求解最优模型.
监督学习的主要思路:
从给定的数据集训练出发,假设数据的独立同分布,假设模型属于某个假设空间,应用一个评价标准.从假设空间选择一个最优模型.