机器学习实战——学习笔记

前言及序章

本书的主要内容：原理简述+问题实例+实际代码+运行效果

机器学习：把无序的数据转换成有用的东西

数据分析与挖掘的基本技能：针对具体任务，搞懂所有相关数据的意义

如何选择合适的算法：（1）想要算法满足什么任务？（2）需要分析或收集的数据是什么？

发现最佳算法的关键环节：反复试错

开发机器学习应用程序的步骤：（1）收集数据，（2）准备输入数据（数据格式），（3）分析输入数据（缺失值、异常值、可视化展示），（4）训练算法，（5）测试算法，（6）使用算法（将其转为应用程序，执行实际任务）

Numpy函数库（有待学习）

第一部分：分类

1. k-近邻算法

优点：精度高、对异常值不敏感、无数据输入假定

缺点：计算复杂度高、空间复杂度高

适用数据范围：数值型与标称型

k近邻算法（核心）

def classifier0(inX, dataset, labels, k):
    datasetSize = dataset.shape[0]
    diffMat = tile(inX, (datasetSize, 1)) - dataset
    distance = ((diffMat**2).sum(axis=1))**0.5
    sortedDistIndicies = distance.argsort()
    classcount = {}
    for i in range(k):
        voteILabel = labels[sortedDistIndicies[i]]
        classcount[voteILabel] = classcount.get(voteILabel, 0) + 1
    sortedClassCount = sorted(classcount.items(), key=operator.itemgetter(1), reverse=True)
    return sortedClassCount[0][0]

算法中所使用的函数

tile(A,(m,n))，将数组A在行上重复m次、在列上重复n次，构成一个新的数组

numpy.argsort()，返回数组值从小到大的索引值

dict.get(key, default=None),返回指定键的值，如果值不在字典中返回默认值None

sorted(iterable[, cmp[, key[, reverse]]])

iterable可迭代对象。

cmp比较的函数，这个具有两个参数，参数的值都是从可迭代对象中取出，大于则返回1，小于则返回-1，等于则返回0。

key主要是用来进行比较的元素，只有一个参数，取自于可迭代对象中，指定可迭代对象中的一个元素来进行排序。

reverse排序规则，True降序，False升序（默认）

详细代码见链接：https://blog.csdn.net/hu_pengxue/article/details/80894279

小结：k-近邻算法是基于实例的学习，使用算法使必须有接近实际数据的训练样本数据。k-近邻必须保存全部数据，有时候会使用大量的存储空间，同时计算数据集中每个数据的距离值也非常耗时。此外，k-近邻无法给出数据的基础结构信息，无法得知平均实例样本与典型实例样本有什么特征。

2. 决策树

优点：计算复杂度不高，输出结果容易理解，对中间值的缺失不敏感，可以处理不相关特征数据。

缺点：可能会产生过度匹配

适用数据类型：数值型与标称型。

创建分支的伪代码createBranch()

检测数据集中所有数据是否数据同一个分类：

if 属于同一个分类，返回分类标签

else

寻找划分数据的最佳特征

划分数据集，创建分支节点

for 每个划分的子集

调用创建分支的代码createBranch()

返回分支节点

如何寻找划分数据集的最好特征？

对每个特征划分数据集的结果计算一次信息熵，根据信息增益最大化选择最佳划分特征。

机器学习实战——学习笔记

猜你喜欢