数据挖掘与数据分析大致流程

1.数据探索:通过检验数据集的数据质量、绘制图标、计算某些特征量等手段,对样本数据集的机构和规律进行分析的过程就是数据探索。数据探索有助于选择合适的数据预处理和建模方法,甚至可以完成一些通常由数据挖掘解决的问题。
常常从数据质量分析和数据特征分析两个角度对数据进行探索

2.数据预处理:在数据挖掘中,海量的原始数据中存在着大量不完整(有缺失值)、不一致、有异常的数据,严重影响到数据挖掘建模的执行效率,甚至可能导致挖掘结果的偏差,所以进行数据清洗就显得尤为重要,数据清洗后接着进行或者同时进行数据集成、转换、规约等一系列的处理,该过程就是数据预处理。
数据预处理的主要内容包括数据清洗、数据集成、数据变换和数据规约

3.挖掘建模:经过数据探索与数据预处理,得到了可以直接建模的数据。根据挖掘目标和数据形式可以建立分类与预测、聚类分析、关联规则、时序模式和偏差检测等模型,帮助企业提供数据中蕴含的商业价值,提高企业的竞争力。

待续...

猜你喜欢

转载自blog.csdn.net/Ericsson_Liu/article/details/81459846