IT行业中Java语言是基础需要打牢，除此之外还要掌握其他的技能，大数据之所以被称为大数据，是因为这些海量数据的数量级已经达到TB、PB、EB级。传统的数据处理手段早已满足不了需求。
大数据处理技术涉及面非常广，不再是以往“一招鲜吃遍天”的局面了。主要有分布式计算、高并发处理、高可用处理、集群、实时性计算等。
作为一名大数据工程师需要掌握哪些知识?我们一起来看一下。
对大数据以及人工智能概念都是模糊不清的，该按照什么线路去学习，学完往哪方面发展，想深入了解，想学习的同学欢迎加入大数据学习qq群：458345782，有大量干货（零基础以及进阶的经典实战）分享给大家，并且有清华大学毕业的资深大数据讲师给大家免费授课，给大家分享目前国内最完整的大数据高端实战实用学习流程体系 。从java和linux入手，其后逐步的深入到HADOOP-hive-oozie-web-flume-python-hbase-kafka-scala-SPARK等相关知识一一分享！
一、Java编程
Java语言是基础，可以编写Web应用、桌面应用、分布式系统、嵌入式系统应用等。Java语言有很多优点，它的跨平台能力赢得了很多工程师的喜爱。
二、linux基础操作命令
大数据开发一般在Linux环境下进行。
大数据工程师使用的命令主要在三方面：查看进程，包括CPU、内存;排查故障，定位问题;排除系统慢的原因等。
三、hadoop
Hadoop中使用最多的是HDFS集群和MapReduce框架。
HDFS存储数据，并优化存取过程。
MapReduce方便了工程师编写应用程序。
四、HBase
HBase可以随机、实时读写大数据，更适合于非结构化数据存储，核心是分布式的、面向列的Apache HBase数据库。
HBase作为Hadoop的数据看，它的应用、架构和高级用法对大数据开发来说非常重要。
五、Hive
Hive作为Hadoop的一个数据仓库工具，方便了数据汇总和统计分析。
六、ZooKeeper
ZooKeeper是Hadoop和Hbase的重要组件，可以协调为分布式应用程序。
ZooKeeper的的功能主要有：配置维护、域名服务、分布式同步、组件服务。
七、phoenix
phoenix是一种开源的sql引擎，是用Java语言编写的。
八、Avro与Protobuf
Avro、Protobuf是适合做数据存储的数据序列化系统，有较丰富的数据结构类型，可以在多种不同的语言间进行通信。
九、Cassandra
Apache Cassandra是运行在服务器或者云基础设施上的可以为数据提供完美平台的数据库，具有高性能、可扩展性、高线性。
Cassandra支持数据中心间互相复制，低延迟、不受断电影响。它的数据模型有列索引、高性能视图和内置缓存。
十、Kafka
Kafka可以通过集群来提供实时的消息的分布式发布订阅消息系统，具有很高的吞吐量，主要是利用Hadoop的并行加载来统一线上、离线的消息处理。
十一、Chukwa
Chukwa是一个分布式的数据采集监视系统，具有可伸缩性和健壮性。
Chukwa的工具包可以对结果进行显示、监测、分析，充分使用收集到的数据。
十二、Flume
Flume是海量日志处理系统，具有高可用、高可靠、分布式的特点，可以对日志进行采集、聚合和传输。
Flume可以定制数据发送方来收集数据，也可以对数据简单处理后写到数据接收方。
对大数据以及人工智能概念都是模糊不清的，该按照什么线路去学习，学完往哪方面发展，想深入了解，想学习的同学欢迎加入大数据学习qq群：458345782，有大量干货（零基础以及进阶的经典实战）分享给大家，并且有清华大学毕业的资深大数据讲师给大家免费授课，给大家分享目前国内最完整的大数据高端实战实用学习流程体系 。从java和linux入手，其后逐步的深入到HADOOP-hive-oozie-web-flume-python-hbase-kafka-scala-SPARK等相关知识一一分享！