什么是大数据,大数据的处理流程介绍

一、大数据是什么?

大数据,bigdata,《大数据》一书对大数据这么定义,大数据是指不能用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。

这句话至少传递两种信息:

1、大数据是海量的数据

2、大数据处理无捷径,对分析处理技术提出了更高的要求

二、大数据的处理流程

下图是数据处理流程:

在这里插入图片描述

1、底层是数以千亿计的数据源,数据源可以是SCM(供应链数据),4PL(物流数据),CRM(客户数据),网站日志以及其他的数据

2、第二层是数据加工层,数据工程师对数据源按照标准的统计口径和指标对数据进行抽取、清洗、转化、装载(整个过程简称ELT)

3、第三层是数据仓库,加工后的数据流入数据仓库,进行整合和存储,形成一个又一个数据集市。

数据集市,指分类存储数据的集合,即按照不同部门或用户的需求存储数据。

4、第四层是BI(商业智能),按照业务需求,对数据进行分析建模、挖掘、运算,输出统一的数据分析平台

5、第五层是数据访问层,对不同的需求方开放不同的数据角色和权限,以数据驱动业务。

大数据的量级,决定了大数据处理及应用的难度,需要利用特定的技术工具去处理大数据。

人工智能、大数据、云计算和物联网的未来发展值得重视,均为前沿产业,多智时代专注于人工智能和大数据的入门和科谱,在此为你推荐几篇优质好文:
大数据工程师培训,需要学习的有哪些课程?
http://www.duozhishidai.com/article-15081-1.html
大数据工程师就业培训哪个好?
http://www.duozhishidai.com/article-15082-1.html
java大数据与python大数据如何选择?
http://www.duozhishidai.com/article-12540-1.html


多智时代-人工智能大数据学习入门网站|人工智能、大数据、物联网云计算的学习交流网站

多智时代-人工智能大数据学习入门网站|人工智能、大数据、云计算、物联网的学习服务的好平台

猜你喜欢

转载自blog.csdn.net/zhinengxuexi/article/details/89312154