机器学习1-设计预测实验

监督学习

尝试从具有标记的训练数据集中推断出预测函数

无监督学习

尝试在没有标记的数据中找出隐藏的结构

设计预测实验

• 将数据分成训练集和测试集（建议划分比例为70：30）。然后将测试数据放在一旁，切勿将其用于准备数据模型。
• 仅使用训练数据构建数据模型。
• 将新模型应用于测试数据。
• 使用混淆矩阵或其他质量保证工具评估模型质量。如果模型通过测试，则结束，否则重复以上三个步骤直到模型通过测试。

二元混淆矩阵

真实情况	预测结果
	正例	反例
正例	TP(真正例)	FN(假反例)
反例	FP(假反例)	TN(真反例)

准确度（Accuracy）

正确分类项目的比例。

$$Accuracy=\frac{TP+TN}{TP+TN+FP+FN}$$

精确度、查准率（Precision）

分类结果中，预测的正例中真正例的比例。当只找出一个正例，并且它是真正例，此时$P=1$。

$$Precesion=\frac{TP}{TP+FP}$$

灵敏度、召回率、查全率（Recall）

分类结果中，正例中预测对的真正例的比例。当全都认为是正例时，也把所有的正例找出来了，此时$R=1$。

$$Recall=\frac{TP}{TP+FN}$$

特异性

反例中真反例的比例，特异性=$\frac{TN}{TN+FP}$。

F1指标（F1 measure）

为了综合考虑召回率与精确率，计算这两个指标的调和平均数，得到F1指标。
之所以使用调和平均数，是因为它除了具备平均功能外，还会对那些召回率和精确率更加接近的模型给予更高的分数。因为那些召回率和精确率差距过大的学习模型1，往往没有足够的实用价值。

$$F1\quad measure = \frac{2}{\frac{1}{Precision}+\frac{1}{Recall}}$$