如何学习大数据技术,Java开发者想尝试转行大数据,学习方向建议

学习大数据技术,首先要明确大数据的概念。

大数据的概念作者认为有如下几点:

1.数据的来源多样性。例如关系数据库+文本+excel等

2.数据量大。TB级别的数据。

3.业务应用领域。实时性高与实时性不高的应用。

学习大数据应该就是要解决上述三个技术问题。

针对第一个问题,就是ETL技术-数据的抽取,清洗,加载。传统数据抽取、清洗、加载是无法做到的。例如一个1TB的数据,需要抽取一些客户的基本信息。上万的文件,多种数据库,每个数据库有很多节点等,这些问题如何解决。第二是时间问题,如果这个ETL过长需要半个月时间,那么就没有意义的。

针对第二个问题,数据如何存储,如何查询。TB级的数据如何存储,如何查询,面对亿级别的数据集合,如何提升查询速度。

针对第三个问题,实时分析系统和非实时分析系统。实时分析系统我们如何解决在海量的数据中,及时根据数据分析模型,得出分析报告。非实时系统我们技术要求可能会低些。

围绕解决上述问题为中心,进行探讨学习之路-称为大数据学习之路

​前言

相信很多Java开发者都对大数据有一定的了解,随着大数据时代的到来,也有很多Java程序员想要转行大数据。大数据技术中大多数平台使用的都是Java语言,因此,对于大数据技术的学习来说,Java程序员已经占尽了先机。但是很多人对大数据该怎么学,学哪些内容和方向不是很了解,下面就给大家来详细讲一下。

本文分三大方面详细的讲如何学大数据:

大数据方向工作介绍

大数据工程师的技能要求

大数据学习路径

一.大数据方向工作介绍

大数据方向的工作目前分为三个主要方向:

01.大数据工程师

02.数据分析师

03.大数据科学家

04.其他(数据挖掘本质算是机器学习,不过和数据相关,也可以理解为大数据的一个方向吧)

二.大数据工程师的技能要求

附上两份比较权威的大数据工程师技能图

总结如下:

必须技能10条:

Java高级(虚拟机、并发)、Linux 基本操作、Hadoop(此处为侠义概念单指HDFS+MapReduce+Yarn )、HBase(JavaAPI操作+Phoenix )、Hive(Hql基本操作和原理理解)、Kafka、Storm、Scala需要、Python、Spark (Core+sparksql+Spark streaming )、一些小工具(Sqoop等)

高阶技能6条:

机器学习算法以及mahout库加MLlib、R语言、Lambda 架构、Kappa架构、Kylin、Aluxio

三.学习路径

互联网科技发展蓬勃兴起,人工智能时代来临,抓住下一个风口。为帮助那些往想互联网方向转行想学习,却因为时间不够,资源不足而放弃的人。我自己整理的一份最新的大数据进阶资料和高级开发教程,大数据学习群:957205962就可以找到组织学习 欢迎进阶中和进想深入大数据的小伙伴加入。

相关学习书籍:Java 高级学习(《深入理解Java虚拟机》、《Java高并发实战》)、Hadoop、HBase(《HBase权威指南》)、Hive(《Hive开发指南》)、Scala(《快学Scala》)、Spark (《Spark 快速大数据分析》)



 

猜你喜欢

转载自blog.csdn.net/zhiweibiancheng/article/details/90115493
今日推荐