大数据学习流程

1.java和大数据的关系:
1.hadoop:基于java语言的开发
2.Spark:基于Scala语言,Scala语言基于java语言
2.学习大数据需要的基础和路线:
1.学习大数据需要的基础:
java基础(javaSE)----》类,继承,多态,I/O,反射,泛型。。。。
linux(linux的操作)-----》创建文件,目录,使用vi编辑器
2.(1)java基础和linux基础
(2)hadoop的学习:体系结构,原理,编程
)第一阶段:HDFS(分布式文件系统(存储))Mapreduce(计算),HBase:是安全特性最完善的数据库产品之一的NoSql数据库 :
泛指非关系型数据库,它是为了解决大规模数据集合以及多种数据类型带来的问题,尤其是大数据应用难题)
)第二阶段:数据分析引擎:Hive,Pig
数据采集引擎:Sqoop,flume
)第三阶段:HUE:web管理工具
ZooKeeper:实现Hadoop的HA
Oozie:工作流引擎
(3)Spark的学习
)第一个阶段:Scala编程语言
)第二个阶段:Spark Core(基于内存,数据的计算)
)第三个阶段:Spark SQL (类似于Oracle中的SQL语言)
)第四个阶段:Spark Streaming(实时计算,流式计算:自来水厂)
(4)Apache Storm:类似于Spark Streaming(实时计算,流式计算:自来水厂)
)NoSQL: Redis(基于内存的数据库):适用于数据变化快且数据库大小可预见的程序应用如:
股票价格,数据分析,实时通讯,实时数据搜集

发布了37 篇原创文章 · 获赞 31 · 访问量 1万+

猜你喜欢

转载自blog.csdn.net/qq_43668119/article/details/104237863