[机器学习 02] 分类算法-sklearn

机器学习：分类

1. K近邻 （KNN）

原理：距离预测点最近的前K个点中最多的类别作为该预测点的类别。（距离：欧式距离）

算法简单，但是计算耗时。在数据量多，特征高阶的情况下，性能低且效果不好。

2. KD-Tree

简化KNN的计算。（KNN需要遍历所有的点取得所有点的距离。）

KD-Tree用二叉排序树，点之间的距离只需要通过在二次查找树上做查询。缩小了时间复杂度。O(logn)

树的构建和查找可看这篇文章

回溯：检查其父节点核兄弟节点与该查找到叶子节点的距离相比较，在有限次回溯后找到最近的点。

3.SVM（支持向量机）

原理：使超平面离最近样本点的距离最大。