数据分析学习日记 Day1

一、何为数据分析

(一)数据分析的含义

数据分析是指用适当的统计分析方法,对收集来的大量数据进行分析,提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

 

(二)数据分析的统计学分类

在统计学领域,将数据分析划分为描述性统计分析探索性数据分析以及验证性数据分析

1、描述性统计分析,是指运用制表和分类,图形以及计算概括性数据来描述数据特征的各项活动。它要对调查总体所有变量的有关数据进行统计性描述,主要包括:数据的频数分析、集中趋势分析、离散程度分析、分布以及一些基本的统计图形。以下是一些方法:(1)数据的频数分析。在数据的预处理部分,利用频数分析和交叉频数分析可以检验异常值。(2)数据的集中趋势分析。用来反映数据的一般水平,常用的指标有平均值、中位数和众数等。(3)数据的离散程度分析。主要是用来反映数据之间的差异程度,常用的指标有方差和标准差。(4)数据的分布。在统计分析中,通常要假设样本所属总体的分布属于正态分布,因此需要用偏度和峰度两个指标来检查样本数据是否符合正态分布。(5)绘制统计图。用图形的形式来表达数据,比用文字表达更清晰、更简明。

2、探索性数据分析,侧重于在数据之中发现新的特征,它是指为了形成值得假设的检验而对数据进行分析的一种方法,是对传统统计学假设检验手段的补充。该方法由美国著名统计学家约翰·图基(John Tukey)命名。在此特地引用大佬的文章,文章初介绍了探索性数据分析(侵删):点击打开链接

3、验证性数据分析,则侧重于对已有假设的证实或证伪。

 

 

二、数据分析行业发展

数据分析在国外早就广泛应用于各个领域,并有很多国家成立了相应的行业组织或管理机构,拥有专业的数据分析人员。而在我国,数据分析行业才刚刚开始,我国的数据分析行业从无到有,直至今天的不断发展壮大,主要经历了几个阶段:

2003年底,根据国家财政部、国家发改委关于规范长期投资项目数据分析方法及与国际接轨的总体精神,工信部电子行业职业技能鉴定指导中心正式设立了“项目数据分析师”培训项目,并于2004年在深圳开始全国试点考培工作,由此开始登上中国市场经济的舞台,一个全新行业正在兴起。

2005年,全国第一家项目数据分析师事务所经工商局审批成立,项目数据分析师事物所的出现,是我国数据分析行业的一个里程碑,同时也表明我国数据分析行业开始进入不断发展的新时期。

2006年-2007年,全国已有项目数据分析师数千人,并在全国近10个省市组建了几十家专业的项目数据分析师事务所全国不少地方政府和行业协会都给予了支持,这一时期,我国的数据分析行业已经全面成型,项目数据分析师和专业的事务所开始在数据分析所涉及的各个领域发挥巨大的作用。

随着企业的不断成长和行业规模的日渐扩大,规范市场运作、指导企业发展、监管行业自律的需求越来越突出,组建行业协会的呼声也越来越高,2008年4月,经国资委审核同意,国家民政部正式批准中国项目数据分析行业的全国性行业组织——中国商业联合会数据分析专业委员会的成立,标志着中国数据分析行业步入了一个迅速发展壮大的阶段。协会成立以来,全国各地纷纷成立新的事务所,并向协会备案。协会颁发的资质已受到社会各界的认可,特别是投融资行业。

三、数据分析师的岗位需求

数据分析师,指的是不同行业中,专门从事行业数据搜集、整理、分析,并依据数据做出行业研究、评估和预测的专业人员,做数据分析的最终目的,是通过数据分析来引导产品改进的能力。互联网时代的数据分析师面临的是数据过剩问题。因此,我们必须学会借助技术手段进行高效的数据处理,更为重要的是,不断在数据研究的方法论方面进行创新和突破。

数据分析师的技能需求

1、懂业务。从事数据分析工作的前提就会需要懂业务,即熟悉行业知识、公司业务及流程,最好有自己独到的见解,若脱离行业认知和公司业务背景,分析的结果只会是脱了线的风筝,没有太大的使用价值。

2、懂管理。一方面是搭建数据分析框架的要求,比如确定分析思路就需要用到营销、管理等理论知识来指导,如果不熟悉管理理论,就很难搭建数据分析的框架,后续的数据分析也很难进行。另一方面的作用是针对数据分析结论提出有指导意义的分析建议。

3、懂分析。指掌握数据分析基本原理与一些有效的数据分析方法,并能灵活运用到实践工作中,以便有效的开展数据分析。基本的分析方法有:对比分析法、分组分析法、交叉分析法、结构分析法、漏斗图分析法、综合评价分析法、因素分析法、矩阵关联分析法等。高级的分析方法有:相关分析法、回归分析法、聚类分析法、判别分析法、主成分分析法、因子分析法、对应分析法、时间序列等。

4、懂工具。指掌握数据分析相关的常用工具。数据分析方法是理论,而数据分析工具就是实现数据分析方法理论的工具,面对越来越庞大的数据,我们不能依靠计算器进行分析,必须依靠强大的数据分析工具帮我们完成数据分析工作。

5、懂设计。懂设计是指运用图表有效表达数据分析师的分析观点,使分析结果一目了然。图表的设计是门大学问,如图形的选择、版式的设计、颜色的搭配等等,都需要掌握一定的设计原则。
 

四、数据分析的流程

包括以下几个阶段:问题定义获取数据(网页爬虫等)、数据预处理数据分析与建模数据可视化及数据报告的撰写

在此引用大佬的博客(侵删):点击打开链接。推荐课程:《数据分析师》

猜你喜欢

转载自blog.csdn.net/GooTal/article/details/81003027