学习大数据，你的职业是如何规划的？

作为IT类职业中的“大熊猫”，大数据人才（数据工程师，数据分析师，数据挖掘师，算法工程师等）、在国内人才市场可谓是一颗闪耀的新星。由于刚刚出于萌芽阶段，这个领域出现很大的人才缺口。

webp

1 大数据人才做什么？

2 需要具备的能力

2.1 精通SQL

2.2 数据模型技能

2.3 ETL设计

2.4 架构项目

3 知识体系

机器学习基础

机器学习工具

扫描二维码关注公众号，回复： 6235531 查看本文章

3.1 大数据通用处理平台

3.2 分布式存储

3.3 资源调度

3.4 机器学习工具

3.5 数据分析/数据仓库(SQL类)

3.6 消息队列

3.7 流式计算

3.8 日志收集

3.9 编程语言

3.10 数据分析挖掘

3.11 数据可视化

3.12 机器学习

4 大数据人才的职业发展

4.1 薪酬待遇

4.2 职业发展路径

1 大数据人才做什么？

大数据是眼下非常时髦的技术名词，与此同时自然也催生出了一些与大数据处理相关的职业，通过对数据的挖掘分析来影响企业的商业决策。大数据工程师就是一群“玩数据”的人，玩出数据的商业价值，让数据变成生产力。大数据和传统数据的最大区别在于，它是在线的、实时的，规模海量且形式不规整，无章法可循，因此“会玩”这些数据的人就很重要。

【大数据开发学习资料领取方式】：加入大数据技术学习交流群458345782，点击加入群聊，私信管理员即可免费领取

因此，分析历史、预测未来、优化选择，这是大数据人才在“玩数据”时最重要的三大任务。通过这三个工作方向，他们帮助企业做出更好的商业决策，找出最优化的结果。

2 需要具备的能力

2.1 精通SQL

如果英语是业务的交流工具，那么SQL就是数据的交流工具。一个不会流利的英语的业务人员能有多大的成就？不管任何技术时代的产生和更替，SQL一直是数据的通用语。数据工程师应该有能用SQL表达任何‘相关子查询’和窗口函数复杂度的技术能力。对数据工程师来说初始SQL／DML/DDL简单到根本没有难度。即使是没有接触过SQL的人，他也能读懂并明白数据库的执行计划，了解所有步骤，知道程序怎么被调用，连接算法的不同和执行计划内的分布式维度。

2.2 数据模型技能

作为一个数据工程师，有对实体－关系模型的认知反射，规范化的清晰认识，权衡反规范化的敏锐直觉。数据工程师应该熟悉维度建模及相关概念与术语。

2.3 ETL设计

能够写出有效率、有弹性的、“可发展”的ETL任务是一个关键。

2.4 架构项目

就如任何一个领域的专家的专业技能一样，数据工程师需要一个较高层次的综括，对大多数的工具，平台，库，和其他供他支配的资源的了解。认识到不同类型的数据库、计算引擎、流处理器、消息队列、工作流协调器、序列化格式及其他相关技术的属性、用例、微妙之处。在设计解决方案的时候，他应该有能力选择即将要使用的技术，并有一个构想去协调怎么使他们一起更好地工作。

3 知识体系

3.1 大数据通用处理平台

Spark

Flink

Hadoop

3.2 分布式存储

HDFS

3.3 资源调度

Yarn

Mesos

3.4 机器学习工具

Mahout

Spark Mlib

TensorFlow (Google 系)

Amazon Machine Learning

DMTK (微软分布式机器学习工具)

3.5 数据分析/数据仓库(SQL类)

Pig

Hive

kylin

Spark SQL,

Spark DataFrame

Impala

Phoenix

ELK

ElasticSearch

Logstash

Kibana

3.6 消息队列

Kafka(纯日志类，大吞吐量)

RocketMQ

ZeroMQ

ActiveMQ

RabbitMQ

3.7 流式计算

Storm/JStorm

Spark Streaming

Flink

3.8 日志收集

Scribe

Flume

3.9 编程语言

Java

Python

Ruby

Scala

3.10 数据分析挖掘

MATLAB

SPSS

SAS

3.11 数据可视化

D3.js

ECharts

Excle

Python

3.12 机器学习

机器学习基础

聚类

时间序列

推荐系统

回归分析

文本挖掘

决策树

支持向量机

贝叶斯分类

神经网络

深度学习