最近开始机器学习经典教材-西瓜书的学习,为了方便以后查看,在此记录下来。
什么是机器学习
通过计算的手段,利用经验来改善系统性能。
机器学习所研究的内容,是如何在计算机上从数据中产生模型的算法,即“学习算法”。
机器学习任务划分
根据训练样本是否有标签,可分为:
- 监督学习
- 分类:预测离散值,如二分类任务
- 回归:预测连续值
- 无监督学习
- 聚类:训练样本没有标记信息,通过了解数据内在规律自动分类,常用于数据分析
学习效果的评估问题
错误率、精度、误差等是用于评估学习效果的指标。
在实际中,希望得到的是在新样本上能表现很好的学习器,而面临的关键阻碍是过拟合问题。
已有数据集 D D D,得到训练集和测试集的方法有:
- 留出法:按照比例将数据集划分为训练集和测试集
- 交叉验证法:将数据集划分为 k k k份,并进行 k k k次训练和测试,每次留一份作为测试集,最终返回 k k k次测试的均值。
- 自助法:对数据集 D D D重复放回采样 m m m次,得到 D ′ D' D′,将 D ′ D' D′作为训练集, 余下部分作为训练集。