踏入大数据的第一天,我先入入门

目录

一、大数据特点

二、大数据能干啥

三、业务流程分析

四、大数据部分组织结构


转行原因】目前数据每天已亿计算,作为 Java程序员的我已经无法使用常规工具对数据进行捕捉、管理和处理这些数据集合。MySQL的存储容量也只有500-1000行数据。而且数据每天还在告诉增长,还不带重样的。还有就是跟着党走,我要搞新基建。所以我来了,我来了,我踏着七彩祥云走来了.....

按顺序给出存储单位:bit、Byte、KB、MB、GB、TB、PB、ZB、YB、BB、NB、DB。

大数据主要是干嘛的:海量数据的存储海量数据的分析计算问题。en....我是刚入门,不要骂我菜......

一、大数据特点


【1】多样化(variety):这里包含两个方面,一个是数据来源多样化,就是我们采集的数据通过不同的渠道,不同平台产生的多样化;还有就是数据的结构数据多样,有结构化的和非结构化(视频、图片...)的等等。
【2】大量化(volume):这个我们比较好了解,毕竟名字就带着这个意思。互联网的发展规模,我们每天通过它产生的数据也是与日俱增,现在我们可能一年里产生的数据量,都能和之前的史上数据相匹敌了,大量化实至名归啊。
【3】高速(velocity):这里面涉及到大数据的整个流程,比如数据的增长速度,还有我们对数据的处理速度,很多类型的数据我们已经能够做到时时反馈了,刚刚收集到马上就能反过来影响我们的生活。
【4】价值密度低(value):也就是大数据虽然数量巨大,但是也不是越多越好的,其中有很多都是没意义的,有用的数据就被淹没在这海量的没用数据之中了,而这一点也是大数据技术的工作难点之一,要将那些海量无用的、复杂的数据做深度的分析,从其中挖掘那些对我们来说是有价值的数据。

二、大数据能干啥


【1】物流仓库:大数据分析系统助力商家精细化运营、提升销量、节约成本。
【2】零售:分析用户消费习惯,为用户购买商品提供方便,从而提升商品销量。例如(纸尿裤+啤酒)
【3】旅游:深度结合大数据能力与旅游行业需求,共建旅游产业智慧管理、智慧服务和智慧营销的未来。
【4】商品广告推荐:给用户推荐需要的产品。

三、业务流程分析


四、大数据部分组织结构



【1】平台组:将框架搭建对数据进行采集,保证每一个框架正常运行。类似运维但比运维高级,同时对框架进行调优和监控。
【2】数据仓库组:根据业务对数据进行分析梳理和筛选垃圾数据。
【3】数据挖掘组:对数据进行深度挖掘,理想的大数据选型。
【4】报表开发组:也就是我现在的职位,给大数据打杂的。

不说了,该学习Hadoop了


 ----关注公众号,获取更多内容----

猜你喜欢

转载自blog.csdn.net/zhengzhaoyang122/article/details/106843755
今日推荐