分类预测&聚类
分类和聚类的不同，点击进行学习。
分类
概念
建立模型，描述预定的数据类集或概念集；之后使用模型进行分类。
预测
构造和使用模型评估无标号样本类，或评估给定样本可能具有的属性值或值区间。
有监督学习(分类)
- 训练集是带有类标签的
- 新的数据是基于训练集进行分类的
无监督学习(聚类)
- 训练集是没有类标签的
- 提供一组属性，然后寻找出训练集中存在类别或者聚集。
关于分类和预测的问题
- 数据准备
- 数据清洗：对数据进行预处理，消除噪音和丢失值
- 相关性分析(属性选择)：去掉不相关或者冗余的属性
- 数据转换：泛化或者对数据进行标准化
- 评估、比较分类方法
- 预测的准确率
- 速度：创建速度、使用速度
- 健壮性：处理噪声数据和缺失值数据的能力
- 伸缩性：对大量数据，对磁盘驻留数据的处理能力
- 可解释性：对模型的k可理解和解释的程度
- 规则好坏的评价：决策树的大小、分类规则的简明性
决策树
思想(贪心)
- 自上而下分而治之的方法
- 开始时，所有的数据都在根节点上
- 属性都是离散值字段（if 连续 : 离散化)
- 所有记录用所选属性递归进行分割
- 属性的选择是基于一个启发式规则或者一个统计的度量
停止分割的条件
- 每一个节点上的数据都是属于同一个类别
- 没有属性可以在用于对数据进行分割
Overfitting
生成的原因
- 太多的分支，有些可能是对异常例外的反应
- 在进行预测的时候准确率较低
解决方法
- 预剪枝
- 难点：选择一个阈值比较困难
- 后修建
- 使用另外一个测试集来决定那个树最好
SLIQ算法
点击进行学习。
贝叶斯分类算法
粗糙集算法
- 解决不确定性问题，是对某一对象集合的近似。
- 处理不确定问题的最大优点:它不需要关于数据的预先或附加的信息，而且易于掌握和使用
- 可用于从数据库(数据仓库)中发现分类规则。
聚类
什么是聚类分析
簇
一个数据对象的集合
聚类分析(无监督)
- 把一个给定的数据对象分成不同的簇
- 在同一个簇中，对象之间具有相似性
- 不同簇的对象之间是相异的
典型应用
- 模式识别
- 空间数据分析
- 图像处理
- 经济学(市场研究)
- 分档分类
eg：市场营销、土地使用、保险、城市规划、地震研究
数据挖掘对聚类的要求
- 可伸缩性
- 能够处理不同类型的属性
- 能发现任意形状的簇
- 能够处理噪声和异常
- 对输入数据随想的顺序不敏感
- 能处理高维数据
- 能产生一个好的，满足用户指定约束的聚类结果
- 结果是可解释的、可理解的和可用的
评价方法
一个好的聚类方法要能产生高质量的聚类结果—簇，这些簇具有一下两个特点：
- 高的簇内相似性
- 低的簇间相似性
So，如何计算相似性
通常使用距离来衡量两个对象之间的相异度。
- 明考斯基距离(Minkowski distance):
相似性
So，如何计算相似性
通常使用距离来衡量两个对象之间的相异度。
-
明考斯基距离(Minkowski distance):
[外链图片转存中…(img-kSASuJsQ-1591021899119)]
-
简单匹配系数----评价二元变量之间的相似性