机器学习(周志华)读书笔记---第10章 降维

10.1 k近邻学习
工作机制:
这里写图片描述
k近邻是懒惰学习的代表,没有显式的训练过程,和 急切学习 相反
K近邻学习受k值和距离计算方式的影响
这里写图片描述
当k=1,分析错误率,即最近邻分类器
这里写图片描述

10.2 低维嵌入
维数灾难:
在高维情况下出现的数据样本稀疏,距离计算困难等问题
解决方案:
降维,通过某种数学变换,将原始高维属性空间转变为一个低维子空间,在这个子空间中样本密度大幅度提高,距离计算也变得更为困难。
为什么降维?
数据样本虽是高维的,但与学习任务密切相关的也许仅是某个低维分布,即高维空间的一个低维嵌入。

10.3 主成分分析
PCA:将多个特征综合为少数几个代表性特征。
这里写图片描述
降维原理:
这里写图片描述
维数的选择:
这里写图片描述
10.4 核化线性降维
线性降维方法假设从高维空间到低维空间的函数映射是线性的,然而,在不少现实任务中,可能需要非线性映射才能找到恰当的低维嵌入。
若不存在一个划分超平面,那么升维。

猜你喜欢

转载自blog.csdn.net/qq_28897525/article/details/80657459
今日推荐