[数据分析学习笔记] 数据挖掘建模过程

数据挖掘建模过程

1. 确定数据挖掘的目标

2. 数据取样

3. 数据整理

4. 构建数据模型

5. 模型评价

6. 模型应用


1. 确定数据挖掘的目标

针对具体的数据挖掘应用需求,首先要确定本次数据挖掘的目标是什么?系统完成之后能够达到什么样的效果?

要想充分发挥数据挖掘的价值,必须对目标有一个清晰明确的定义,即决定到底想干什么?


2. 数据取样

在明确了需要进行数据挖掘的目标之后,接下来就需要从业务系统中抽取一个与挖掘目标相关的样本数据子集。

抽取数据的标准,一是相关性;二是可靠性;三是有效性。

在抽取数据时,还需要关注数据的质量。

衡量数据取样质量的标准如下:

(1)数据完整,无缺,各类指标项齐全;

(2)数据准确无误,反映的都是正常(而不是异常)状态下的水平。

抽样的方式:

  •  随机抽样
  •  等距抽样
  •  分层抽样
  •  从起始顺序抽样
  •  分类抽样

3. 数据整理

对所抽取的样本数据进行探索、审核和必要的加工处理,是保证最终的挖掘模型的质量所必须的。

数据探索主要包括:

(1)异常值分析

          [数据分析学习笔记] 异常值分析方法

(2)缺失值分析

(3)相关性分析

(4)周期性分析


4. 构建数据模型

构建数据模型是数据挖掘过程的核心环节。

根据挖掘目标和数据形式可以建立:

(1)分类与预测模型

(2)聚类分析模型

(3)关联规则模型

(4)时序模式

(5)偏差检测模型

通过各种模型帮助企业提取数据中蕴含的商业价值,提高企业的竞争力。


5. 模型评价

构建模型过程中,会得出一系列的分析结果,模型评价的目的之一就是从这些模型中自动找出一个最好的模型,另外就是要根据业务对模型进行解释和应用。


6. 模型应用

将模型进行应用

对模型进行重构

发布了619 篇原创文章 · 获赞 185 · 访问量 66万+

猜你喜欢

转载自blog.csdn.net/seagal890/article/details/104867521
今日推荐