要搞懂大数据需要学习,哪些知识呢?

首先要掌握的就是Java语言和Linux操作系统,这两个是大数据的基础。学习顺序的话不分前后的。
(1)Java:Java也有很多方向。JavaSE,JavaEE还有JavaME,大数据的话只需要学习Java标准版的JavaSE就可以了,像Servlet、JSP、Tomcat、Struts等在JavaEE方向,在大数据里面不常用到。但是需要了解,想要成为成为人才的话可以要学习Hibernate或者Mybites的原理,不要只学习API。


(2)Linux:因为大数据相关软件都是在Linux上面运行的所以,Linux要学习很扎实。它能让你更好的理解hadoop,hive,hbase,spark等大数据软件的运行环境和网络环境配置,能少踩很多坑,学会shell就能看懂脚本这样更容易理解配置大数据集群。


大数据学习
第一阶段 Java语言编程基础:计算机基础、编程基础、面向对象、常用类、集合操作、IO操作。
第二阶段 Javaweb核心技术:Java基础增强、数据库操作、前端技术基础、Javaweb核心、Linux服务器、Javaweb综合项目实战。
第三阶段 网站开发三大框架:项目构建及管理、数据库操作框架、spring框架、Springmvc框架、CRM项目实战。
第四阶段 互联网搜索及爬虫:单机爬虫开发、爬虫高级开发、分布式爬虫、搜索系统技术、搜索系统框架、分布式搜索系统。
第五阶段 分布式电商系统:电商基础背景和项目需求分析、dubbo、angularJS、电商核心业务实现;Nginx、Hudson、solrCloud、keepalived、负载均衡、反向代理、高并发;redis Cluster、freemarker页面静态化、高并发;mycat数据库、高并发;docker容器部署、热部署、高并发。
第六阶段 大数据离线计算:基础增强、大数据平台、数据收集、数据存储、数据计算、数据管理、案例分析、数据分析、核心增强、核心提高。
第七阶段 大数据实时计算:实时数据存储、实时数据计算、实时计算案例、实时数据存储、实时数据查询、推荐系统开发。
第八阶段 大数据内存计算:Scala语言基础、spark基础、sparkRDD、spark SQL、spark streaming、项目实战阶段。
第九阶段 机器学习基础:机器学习基础概念、机器学习决策树模型、机器学习KNN模型、机器学习SVM支持向量机、机器学习感知机与BP神经网络。


Hadoop:这事现在流行的大数据处理平台。包括HDFS、MapReduce和YARN,HDFS是储存数据的地方想我们的电脑硬盘一样,都存储在这个上面。MapReduce是对数据进行处理计算的,它的特点是不管多大的数据只要有时间就能跑完。YARN是体现Hadoop平台概念的重要组件。

互联网科技发展蓬勃兴起,人工智能时代来临,抓住下一个风口。为帮助那些往想互联网方向转行想学习,却因为时间不够,资源不足而放弃的人。我自己整理的一份最新的大数据进阶资料和高级开发教程,大数据学习群:868847735   欢迎进阶中和进想深入大数据的小伙伴加入。



大数据中重要的要掌握的几点:


Zookeeper:安装Hadoop的HA的时候就会用到它,以后的Hbase也会用到它。需要把它安装正确 ,让它正常的跑起来。


Mysql:在Linux上把它安装好,运行起来,会配置简单的权限,修改root密码,创建数据库。


Sqoop:这个是用于把Mysal里面的数据导入Hadoop里面。


Hive:和Pig同理,想要变得厉害可以都学习。


Oozie:可以帮你管理你的Hive或者MapReduce、Spark脚本还能检查你的程序执行的是否正确。


Hbase:这个是Hadoop生态体系中的NOSQL数据库,是按照key和value的形式存储的并且key是唯一的。所以可以帮你做数据排重,它与MYSQL相比存储的数据量大。


Kafka:这个是队列工具。可以利用它来做线上实时数据的入库或者是入HDFS,与Flume的工具配合使用,专门用来提供对数据进行简单处理。


Spark:这个工具是用来弥补MapReduce处理数据速度上的缺点,特点就是把数据装载到内存里面去计算。适合做迭代运算,Java语言或者Scala都可以操作它,他们都是用JVM的。


上面的知识点和线路图你能完整的学下来掌握,基本去哪家企业都很抢手~

猜你喜欢

转载自blog.csdn.net/juan188/article/details/85050026