大数据学习路线总结
1.大数据基础入门
对比:Java开发和大数据开发
1.1为什么要学习大数据
目的:很好找工作
对比:Java开发和大数据开发
1.2什么是大数据
举例:
一商品推荐:问题:(1)大量的订单如何存储(2)大量的订单如何计算
二天气预报:问题:(1)大量的天气数据如何存储(2)大量的天气数据如何计算
什么是大户数据,本质?
一数据的存储,分布式文件系统(分布式存储)
二数据的计算,分布式计算
1.3Java和大数据是什么关系?
一Hadoop :基于Java语言开发的
二Spark:基于Scala语言开发的 ,scala语言基于java语言
1.4学习大数据需要的基础和路线
一学习大数据需要的基础:Java基础(JavaSE) --->类、继承、I/O 、反射 、泛型。。。。
:Linux基础(Linux基本操作) --->创建文件、目录、vi编辑器
二学习路线
一.一Java基础和Linux基础
一.二Hadoop的学习:体系结构、原理、编程
(*)第一阶段:HDFS、MapReduce、HBase(NoSQL数据库)
(*)第二阶段:数据分析引擎:Hive、Pig
数据采集引擎:Sqoop、Flume
(*)第三阶段:HUE:Web管理工具
Zookeeper:实现Hadoop的HA
Ozzie :工作流引擎
一.三Spark的学习
(*)第一阶段:Scala编程语言
(*)第二阶段:Spark Core --->基于内存的数据计算
(*)第三阶段:Spark SQL类似Oracle中的SQL语言
(*)第四阶段:Spark Streaming --->进行实时计算(流式计算),比如大数据学习路线总结
1.大数据基础入门
对比:Java开发和大数据开发
1.1为什么要学习大数据
目的:很好找工作
对比:Java开发和大数据开发
1.2什么是大数据
举例:
一商品推荐:问题:(1)大量的订单如何存储(2)大量的订单如何计算
二天气预报:问题:(1)大量的天气数据如何存储(2)大量的天气数据如何计算
什么是大户数据,本质?
一数据的存储,分布式文件系统(分布式存储)
二数据的计算,分布式计算
1.3Java和大数据是什么关系?
一Hadoop :基于Java语言开发的
二Spark:基于Scala语言开发的 ,scala语言基于java语言
1.4学习大数据需要的基础和路线
一学习大数据需要的基础:Java基础(JavaSE) --->类、继承、I/O 、反射 、泛型。。。。
:Linux基础(Linux基本操作) --->创建文件、目录、vi编辑器
二学习路线
一.一Java基础和Linux基础
一.二Hadoop的学习:体系结构、原理、编程
(*)第一阶段:HDFS、MapReduce、HBase(NoSQL数据库)
(*)第二阶段:数据分析引擎:Hive、Pig
数据采集引擎:Sqoop、Flume
(*)第三阶段:HU自来水厂
一.四Apache Storm:类似Spark Streaming --->进行实时计算(流式计算):比如自来水厂
(*)NoSQL:Redis基于内存的数据