机器学习算法的基础知识

1、评估指标

	预测值
		0	1
实际	0	TN	FP
	1	FN	TP

• $accuracy = \frac{TN+TP}{TN+TP+FP+FN}$
• $precision= \frac{TP}{TP+FP}$
• $recall= \frac{TP}{TP+FN}$
• $F1= \frac{2*(pre+rec)}{pre+rec}$
• ROC曲线： $X轴：FPR=\frac{FP}{FP+TN}；Y轴：TPR=\frac{TP}{TP+FN}$

2、偏差与方差（过拟合与欠拟合）

$Error=Bias+Variance$

• $Error$：整个模型的准确度
• $Bias$：模型在样本上的输出与真实值之间的误差（即模型本身的精度）
• $Variance$：每次输出结果与模型输出期望之间的误差（即模型的稳定性）
  

3、正则化（解决过拟合）

• L1正则化产生稀疏特征
• L2产生更多特征但都会接近于0

4、梯度下降算法（算法优化方式）

5、数据不平衡