大数据 数据挖掘 原理思路分析

数据挖掘的过程

数据挖掘是一个完整的，反复人机交互处理过程。

                1 问题定义、2 数据准备、3 数据预处理、4 数据挖掘、5 结果的解释和评估

数据挖掘根据： 领域的分析、目标需求、数据来源、含义也有所改进

一 问题定义

        数据挖掘目的是在大数据中找到有用的，所以在大数据发现什么东西是最重要的，在发掘中要和客户紧密沟通，使用各种算法，找到一种最合适的

二 数据准备

        确定项目目标、熟悉相关专业知识、和相关业务背景、制定发掘计划。开始采集数据、定义业务对象类型、确定数据源、通过批处理采集或其他方式加快提取熟读。数据集成、将多种数据集合到一起、由于数据类型不同所以需要将多类型数据整合一下。

三数据预处理

         推到计算缺值数据、消除重复记录、数据类型转换、把连续数据转成离散型的数据、或把离散型的转成连续型的、方便在做神经网络的时候用。

四数据挖掘

        通过不同的需求特点和数据特征，调用合适的算法来发掘。明确用户想要的是准确度高类型、预测类型、是否看中发掘出来的是否容易理解。

         1.根据分析项目制定的目标、来确定发掘的是属于那种类型。

         2.在确定了发掘类型、确定发掘是用的技术。

         3.选择合适的发掘工具如SAS、SPSS、 Oracle Darwin、IBM Intelligent Miner

         4.在发掘中要平凡的进行人机交互提高发掘的准确度

五结果的解释和评估

        发掘结果的评价主要在于之前的定制的目标、在此基础上由本领域的专家对发现的新模式的新颖程度、有效性程度进行评价。