大数据学习路线总结

大数据学习路线总结

1.大数据基础入门

对比:Java开发和大数据开发

1.1为什么要学习大数据

目的:很好找工作

对比:Java开发和大数据开发

 

1.2什么是大数据

举例:

一商品推荐:问题:(1)大量的订单如何存储(2)大量的订单如何计算

二天气预报:问题:(1)大量的天气数据如何存储(2)大量的天气数据如何计算

 

什么是大户数据,本质?

一数据的存储,分布式文件系统(分布式存储)

二数据的计算,分布式计算

 

1.3Java和大数据是什么关系?

一Hadoop :基于Java语言开发的

二Spark:基于Scala语言开发的 ,scala语言基于java语言

 

1.4学习大数据需要的基础和路线

一学习大数据需要的基础:Java基础(JavaSE) --->类、继承、I/O 、反射 、泛型。。。。

                      :Linux基础(Linux基本操作) --->创建文件、目录、vi编辑器

二学习路线

一.一Java基础和Linux基础

一.二Hadoop的学习:体系结构、原理、编程

(*)第一阶段:HDFS、MapReduce、HBase(NoSQL数据库)

       (*)第二阶段:数据分析引擎:Hive、Pig

数据采集引擎:Sqoop、Flume

(*)第三阶段:HUE:Web管理工具

Zookeeper:实现Hadoop的HA

                      Ozzie    :工作流引擎

一.三Spark的学习

(*)第一阶段:Scala编程语言

               (*)第二阶段:Spark Core --->基于内存的数据计算

(*)第三阶段:Spark SQL类似Oracle中的SQL语言

       (*)第四阶段:Spark Streaming  --->进行实时计算(流式计算),比如大数据学习路线总结

1.大数据基础入门

对比:Java开发和大数据开发

1.1为什么要学习大数据

目的:很好找工作

对比:Java开发和大数据开发

 

1.2什么是大数据

举例:

一商品推荐:问题:(1)大量的订单如何存储(2)大量的订单如何计算

二天气预报:问题:(1)大量的天气数据如何存储(2)大量的天气数据如何计算

 

什么是大户数据,本质?

一数据的存储,分布式文件系统(分布式存储)

二数据的计算,分布式计算

 

1.3Java和大数据是什么关系?

一Hadoop :基于Java语言开发的

二Spark:基于Scala语言开发的 ,scala语言基于java语言

 

1.4学习大数据需要的基础和路线

一学习大数据需要的基础:Java基础(JavaSE) --->类、继承、I/O 、反射 、泛型。。。。

                      :Linux基础(Linux基本操作) --->创建文件、目录、vi编辑器

二学习路线

一.一Java基础和Linux基础

一.二Hadoop的学习:体系结构、原理、编程

(*)第一阶段:HDFS、MapReduce、HBase(NoSQL数据库)

       (*)第二阶段:数据分析引擎:Hive、Pig

数据采集引擎:Sqoop、Flume

(*)第三阶段:HU自来水厂

一.四Apache Storm:类似Spark Streaming --->进行实时计算(流式计算):比如自来水厂

    (*)NoSQL:Redis基于内存的数据

猜你喜欢

转载自blog.csdn.net/weixin_41919236/article/details/83035920