大数据是眼下最带感的技术名称之一，大数据行业的火爆发展也自然也衍生出了一些与大数据相关的职业，比如互联网数据分析师、数据工程师等等，通过对数据的挖掘分析来影响企业的商业决策已屡见不鲜。
这类职业的人群在国外被叫做数据科学家（Data Scientist），这个头衔最早由D.J.Pati和Jeff Hammerbacher于2008年提出，他们后来分别成为了领英（LinkedIn）和Facebook数据科学团队的负责人。而数据科学家这个职位目前也已经在美国传统的电信、零售、金融、制造、物流、医疗、教育等行业里开始创造价值。不过在国内，大数据应用还只是处于海平面上的一颗新星，不够成熟不够明亮，所以与其期望有一个全才来完成整个链条上的所有环节，更多公司会根据自己已有的资源和短板，招聘能和现有团队互补的人才，帮助公司发展。
于是每家公司对大数据工作的要求不尽相同：有的专注数据库编程、有的重点突出应用数学和统计学知识、有的是希望能找到懂得产品和市场的数据应用型人才。这种种的条件让很多公司会针对自己的业务类型和团队分工，给这群与大数据打交道的人一些新的头衔和定义：比如数据挖掘工程师、互联网数据分析师、数据挖掘师、用户分析专家等都是经常在国内公司里出现的Title，在此我们将其统称为“大数据工程师” 。
由于国内的大数据工作还处在一个有待开发的阶段，因此能从数据的银河中挖掘出多少有效价值完全取决于工程师的个人能力。西线学院小编在这里也为大家罗列一些行业所需的数据分析人才所包括的能力清单：想要成为数据工程师你要有计算机编码能力、数学及统计学相关背景，当然如果能对一些特定领域或行业有比较深入的了解，对于其快速判断并抓准关键因素则更有帮助。
需要具备的能力
1.数学及统计学相关的背景
就我们采访过的BAT三家互联网大公司来说，对于大数据工程师的要求都是希望是统计学和数学背景的硕士或博士学历。缺乏理论背景的数据工作者，更容易进入一个技能上的危险区域(Danger Zone)—一堆数字，按照不同的数据模型和算法总能捯饬出一些结果来，但如果你不知道那代表什么，就并不是真正有意义的结果，并且那样的结果还容易误导你。“只有具备一定的理论知识，才能理解模型、复用模型甚至创新模型，来解决实际问题。”沈志勇说。
2.计算机编码能力
实际开发能力和大规模的数据处理能力是作为大数据工程师的一些必备要素。
举例来说，现在人们在社交网络上所产生的许多记录都是非结构化的数据，如何从这些毫无头绪的文字、语音、图像甚至视频中攫取有意义的信息就需要大数据工程师亲自挖掘。即使在某些团队中，大数据工程师的职责以商业分析为主，但也要熟悉计算机处理大数据的方式。
3.对特定应用领域或行业的知识
大数据工程师这个角色很重要的一点是，不能脱离市场，因为大数据只有和特定领域的应用结合起来才能产生价值。所以，在某个或多个垂直行业的经历能为应聘者积累对行业的认知，对于之后成为大数据工程师有很大帮助，因此这也是应聘这个岗位时较有说服力的加分项。
职业发展
1.如何成为
由于目前大数据人才匮乏，对于公司来说，很难招聘到合适的人才—既要有高学历，同时最好还有大规模数据处理经验。因此很多企业会通过内部挖掘。
2014年8月，阿里巴巴举办了一个大数据竞赛，把天猫平台上的数据拿出来，去除敏感问题后，放到云计算平台上交予7000多支队伍进行比赛，比赛分为内部赛和外部赛。“通过这个方式来激励内部员工，同时也发现外部人才，让各行业的大数据工程师涌现出来。”
目前长期从事数据库管理、挖掘、编程工作的人，包括传统的量化分析师、Hadoop方面的工程师，以及任何在工作中需要通过数据来进行判断决策的管理者，比如某些领域的运营经理等，都可以尝试该职位，而各个领域的达人只要学会运用数据，也可以成为大数据工程师。
2.薪酬待遇
作为IT类职业中的“大熊猫”，大数据工程师的收入待遇可以说达到了同类的顶级，国内IT、通讯、行业招聘中，有10%都是和大数据相关的，且比例还在上升。颜莉萍(Nicole Yan)表示，“大数据时代的到来很突然，在国内发展势头激进，而人才却非常有限，现在完全是供不应求的状况。”在美国，大数据工程师平均每年薪酬高达17.5万美元，而据了解，在国内顶尖互联网类公司，同一个级别大数据工程师的薪酬可能要比其他职位高20%至30%，且颇受企业重视。
3.职业发展路径
由于大数据人才数量较少，因此大多数公司的数据部门一般都是扁平化的层级模式，大致分为数据分析师、资深研究员、部门总监3个级别。大公司可能按照应用领域的维度来划分不同团队，而在小公司则需要身兼数职。有些特别强调大数据战略的互联网公司则会另设最高职位—如阿里巴巴的首席数据官。另一方面，大数据工程师对商业和产品的理解，并不亚于业务部门员工，因此也可转向产品部或市场部，乃至上升为公司的高级管理层。
学习大数据需要掌握的编程技能可以需要
第一：Java语言基础
1、Java开发介绍
2、熟悉Eclipse开发工具
3、Java语言基础
4、Java流程控制
5、Java字符串
6、Java数组与类和对象
7、数字处理类与核心技术
8、I/O与反射、多线程
9、Swing程序与集合类
第二：了解并熟悉一些HTML、CSS的基础知识，学习 JavaScript交互功能的开发应用。
1、PC端网站布局
2、HTML5+CSS3基础
3、WebApp页面布局
4、原生JavaScript交互功能开发 05Ajax异步交互 06JQuery应用
第三：JavaWeb和数据库
1、数据库
2、JavaWeb开发核心
3、JavaWeb开发内幕
第四：Linux基础，Linux操作系统基础原理、虚拟机使用与Linux搭建、Shell脚本编程、Linux权限管理等基本的Linux使用知识，了解Linux常见版本，通过实际操作学会使用。
01Linux安装与配置
02系统管理与目录管理
03用户与用户组管理
04Shell编程
05服务器配置
06Vi编辑器与Emacs编辑器
第五：Hadoop生态体系，Hadoop是大数据的重中之重，无论是整体的生态系统、还是各种原理、使用、部署，都是大数据工程师工作中的核心，这一部分必须详细解读并熟练掌握。
01Hadoop起源与安装
02MapReduce快速入门
03Hadoop分布式文件系统
04Hadoop文件I/O详解
05MapReduce工作原理
06MapReduce编程开发
07Hive数据仓库工具
08开源数据库HBase
09Sqoop与Oozie
第六：Spark生态体系，这也是是大数据非常核心的一部分内容，在这一时期需要了解Scala语言的使用、各种数据结构、同时还要深度讲解spark的一系列核心概念比如结构、安装、运行、理论概念等。
01Spark简介
02Spark部署和运行
03Spark程序开发
04Spark编程模型
05作业执行解析
06Spark SQL与DataFrame
07深入Spark Streaming
08Spark MLlib与机器学习
09GraphX与SparkR
10spark项目实战
11scala编程
12Python
第七：Storm实时开发，Storm主要用来处理实时计算的问题，这一阶段需要讲解Storm的架构原理、安装部署、实战演练，同时穿插卡夫卡的体系、使用、发布、订阅等。
01storm简介与基本知识
02拓扑详解与组件详解
03Hadoop分布式系统
04spout详解与olt详解
05zookeeper详解
06storm安装与集群搭建
07storm-starter详解
08开源数据库HBase
09trident详解
第八：做项目的能力