浅谈数据分析和数据挖掘

1、数据分析

     数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

     数据分析有极其广泛的应用范围,典型的数据分析过程可看做“四部曲”:

    第一,数据获取,获取数据的前提是对商业问题的理解,把商业问题转化为数据问题,确定问题分析的纬度,采集较为有用的数据。

    第二,数据处理,当获得数据时,数据大部分都是杂乱无章,看不出规律,我们要采取高效的处理工具对数据进行处理。其中常用的工具有Excel、Access、SPSS Modeler、SAS、SPSS Statistics等。

    第三,数据分析,基本的分析方法有:对比分析法、分组分析法、交叉分析法、结构分析法、漏斗图分析法、综合评价分析法、因素分析法、矩阵关联分析法等。高级的分析方法有:相关分析法、回归分析法、聚类分析法、判别分析法、主成分分析法、因子分析法、对应分析法、时间序列等。在探索性分析的基础上提出一类或几类可能的模型,然后通过进一步的分析对比从中挑选一定的模型。

    第四,数据呈现,通过一些可视化图形或者报表形式进行展示,增强对分析结果的理解。可以以报表形式或PPT形式展示结果。

2、数据挖掘

    数据挖掘是对存储于数据库中的大量数据,通过查询和抽取方式获得以前未知的有用信息、模式和规则的过程,即是一个利用各种方法,从大量数据中提取隐含和潜在的,对决策有用的信息和知识的过程。

   数据挖掘可以完成数据总结、分类、关联、聚类等任何,主要有以下特点:

   第一,数据挖掘是一个过程,而非一个单纯的数据建模。

   第二,数据挖掘方法是各种分析方法的集合。

   第三,数据挖掘具有分析海量数据的能力。

   第四,数据挖掘的最终目的是辅助决策。

   数据挖掘的开发流程:数据获取->数据清洗预处理->数据变换->模型训练->模型测试->结果分析->模型优化

3、数据分析与数据挖掘区别

     相似点:两者都是通过分析从数据中提取一些有价值的信息,对数据的敏感度要好;

     不同点:实现方法不同,数据挖掘通过编程实现,需要掌握编程语言,数据分析借助现有分析工具;侧重点不同,数据分析的目标一般比较明确,而数据挖掘的目标不是很清晰。      

4、数据分析师

如何成为一名出色的数据分析师?

①懂业务。从事数据分析工作的前提就会需要懂业务,即熟悉行业知识、公司业务及流程,最好有自己独到的见解,若脱离行业认知和公司业务背景,分析的结果只会是脱了线的风筝,没有太大的使用价值。
②懂管理。一方面是搭建数据分析框架的要求,比如确定分析思路就需要用到营销、管理等理论知识来指导,如果不熟悉管理理论,就很难搭建数据分析的框架,后续的数据分析也很难进行。另一方面的作用是针对数据分析结论提出有指导意义的分析建议。
③懂分析。指掌握数据分析基本原理与一些有效的数据分析方法,并能灵活运用到实践工作中,以便有效的开展数据分析。基本的分析方法有: 对比分析法、分组分析法、 交叉分析法、 结构分析法、漏斗图分析法、综合评价分析法、 因素分析法、矩阵关联分析法等。高级的分析方法有:相关分析法、 回归分析法、 聚类分析法、判别分析法、 主成分分析法、 因子分析法、 对应分析法、 时间序列等。
④懂工具。指掌握数据分析相关的常用工具。数据分析方法是理论,而数据分析工具就是实现数据分析方法理论的工具,面对越来越庞大的数据,我们不能依靠 计算器进行分析,必须依靠强大的数据分析工具帮我们完成数据分析工作。
⑤懂设计。懂设计是指运用图表有效表达数据分析师的分析观点,使分析结果一目了然。图表的设计是门大学问,如图形的选择、版式的设计、颜色的搭配等等,都需要掌握一定的设计原则。
数据分析师等级要求:


猜你喜欢

转载自blog.csdn.net/x_dmword/article/details/80420186