如何开始学习大数据

最近很多人都想学习大数据开发,但是却不知道如何开始学习,

传统的web应用(LAMP、JavaEE、NODE系等)与大数据什么关系?

推荐一个大数据学习群 142973723每天晚上20:10都有一节【免费的】大数据直播课程,专注大数据分析方法,大数据编程,大数据仓库,大数据案例,人工智能,数据挖掘都是纯干货分享,

之前一直以为大数据的东西就是来取代传统的Web应用的,其实并不是这样;即使是大数据的架构,应用层依然会是传统的web应用,但是会根据数据特点对数据存储(结构化数据依然会保存在传统的关系型数据库——如MySql,日志等非结构数据会保存在分布式文件系统——如Hadoop的HDFS)。

大数据的东西不是取代传统的web应用,而是对web应用的增强。基于分布式存储和分布式计算,以前单机或者小规模集群无法解决的问题,使用了大数据技术之后就可以解决了,比如日志等数据当数据量非常大的时候(TB甚至PB),对这些数据的分析在传统架构上是不可能或者是非常慢的,使用了大数据技术之后就是可能的了——主要是将数据处理通过MapReduce等拆分到不同的节点(电脑)上执行,然后将节点上的结果合并,最后生成分析结果。

说一下大数据的四个典型的特征:

数据量大;

数据类型繁多,(结构化、非结构化文本、日志、视频、图片、地理位置等);

商业价值高,但需要在海量数据之上,通过数据分析与机器学习快速的挖掘出来;

处理时效性高,海量数据的处理需求不再局限在离线计算当中。

现如今,为了应对大数据的这几个特点,开源的大数据框架越来越多,越来越强,先列举一些常见的:

文件存储: N、Mesos

日志收集:Flume、Scribe、Logstash、Kibana

消息系统:Kafka、StormMQ、ZeroMQ、RabbitMQ

查询分析:Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid

分布式协调服务:Zookeeper

集群管理与监控:Ambari、Ganglia、Nagios、Cloudera Manager

数据挖掘、机器学习:Mahout、Spark MLLib

数据同步:Sqoop

任务调度:Oozie

是不是眼花缭乱了,上面的这些内容,别谈精通了,就算全部都会使用的,应该也没几个。咱们接下来就大数据开发/ 设计/ 架构方向来了解一下学习路线。

在接下的学习中,不论遇到什么问题,先试试搜索并自己解决。Google首选,其次百度。

于入门者而言,官方文档永远是首选文档。
--------------------- 
 

猜你喜欢

转载自blog.csdn.net/qq_43615134/article/details/83895812