机器学习笔记-K近邻

• k近邻法不具有显示的学习过程，是一种懒惰学习
• 即可分类，又可回归
• 模型由三个基本要素——距离度量、k值的选择、分类决策规则决定
• kd树是二叉树，表示对k维空间的一个划分。是一种便于对k维空间中的数据进行快速检索的数据结构
  • 构造kd树
  • 搜索kd树
  • http://blog.csdn.net/app_12062011/article/details/51986805
• 构造kd树，相当于不断用垂直于坐标轴的超平面将k维空间切分，构成一系列的k维超矩形区域，构造好的kd树的每个叶子节点都对应k维空间的一个划分
• 对于n个实例的k维数据来说，建立kd树的时间复杂度为O(k*n*logn)
• k值的选择
  • k值越小，就相当于用较小的领域中的训练实例进行预测。表明模型越复杂，更加容易过拟合
  • 但是k值越大，模型越简单，如果k=N的时候就表明无论什么点都是训练集中类别最多的那个类
  • 所以一般k会取一个较小的值，然后用过交叉验证来确定