数据分析、数据挖掘、算法工程师、大数据分析师的区别是什么？爬招聘网站用数据来全方位分析

大数据行业经过几年的发展和沉淀，大数据项目岗位细分领域已经趋于完善，本文主要探讨在大数据分析这个领域，通过爬虫爬取各个招聘网站的相关数据，对细分岗位进行深入分析，本文的呈现，感谢科多大数据数据分析培训班第10期学员“NO.1”团队的技术支持。

此次分析结果呈现经历三个阶段：

1. 细分查询目标
2. 确定数据源获取范围
3. 数据清洗、准备

• 数据源获取的比例，分别来自拉勾、智联、51job等等网站，如下如：

• 每一个细分岗位进行分析

1. 数据分析

• 数据分析|定义：数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

    基于业务，通过数据分析手段发现和分析业务问题，为决策作支持

• 数据分析|岗位描述：

• 数据分析|爬取数据整理，所有数据存放在excel，见下图

 

• 数据分析|词云统计

 

• 数据分析|具体技能要求

 

1. 数据挖掘

• 数据挖掘|定义

数据挖掘是通过分析每个数据，从大量数据中寻找其规律的技术，主要有数据准备、规律寻找和规律表示3个步骤。数据挖掘的任务有关联分析、聚类分析、分类分析、异常分析、特异群组分析和演变分析等。

偏技术，通过建立模型、算法、预测等提供一些通用的解决方案，当然也有针对某业务的

• 数据挖掘|岗位描述

• 数据挖掘|爬取数据整理，存放在excel

• 数据挖掘|词云统计

• 数据挖掘|具体技能要求

1. 算法工程师

• 算法工程师|定义

1、研究新算法或者在现有算法的基础上做优化。这时需要读一些研究论文，并针对自己所面对的应用场景，做专门的新型算法研究及对现有算法进行改进。
2、工程开发：将构建的算法通过代码实现，在数据集上进行测试，检验效果。
3、算法调整、参数调优。对于大部分的算法，构建好模型、代码实现只是最初的一步，更多的工作量是在对算法模型进行调整、参数进行调优，从而可以使得自己构建的算法可以更加匹配你所分析的数据，达到最优的效果。

跑数据，跑数据，跑数据。。

 

• 算法工程师|岗位描述

• 算法工程师|爬取数据，存放excel

• 算法工程师|词云统计

• 算法工程师|具体技能要求

1. 大数据分析师

• 大数据分析师|定义

• 大数据分析师|岗位描述

• 大数据分析师|爬取数据，存放excel

• 大数据分析师|词云统计

• 大数据分析师|具体技能要求

第三：大数据行业数据分析岗位多方位分析

1. 百度指数

1. 国家政策

• 2003年，国家信息产业部根据国家财政部、国家发展和改革委员会关于规范长期投资项目数据分析方法、与国际接轨的总体精神，制定出了我国项目数据分析专业技术考试管理办法，加快了我国数据分析专业人才培养步伐。
• 2008年6月，数据分析行业的全国性唯一行业组织——中国商业联合会数据分析专业委员会正式成立，为我国数据分析行业发展开新篇。
• 2011——工信部把信息处理技术作为四项关键技术创新工程之一，其中包括了海量数据存储、数据挖掘、图像视频智能分析等大数据重要组成部分。
• 2014——数据开放运动已覆盖全球44个国家。国务院通过《企业信息公示暂行条例（草案）》，要求在企业部门间建立互联共享信息平台，运用大数据等手段提升监管水平。
• 2015——五中全会的“十三五”规划中将大数据作为国家级战略

1. 成都大数据产业划分

• 增强成都“五中心一枢纽”的功能为导向，围绕“东进、南拓、西控、北改、中优”城市空间发展战略，统筹区域优势产业和空间布局。
• 形成“一核两带”的大数据产业布局：
• “一核”：依托成都天府软件园大数据研发基础，向成都科学城和成都物联网产业园延伸，凭借国内外创新资源和大型数据中心聚集优势，形成覆盖成都高新区、天府新区和双流区的大数据研发运营核心聚集区。
• “两带”：“产业创新引领带”和“智能应用发展带”。

1. 平均薪资

   

   1. 薪酬涨幅表

   不同工种年限薪资涨幅不同，如下图

   数据分析学历占比情况

   挖掘工程师不同工作年限的薪资涨幅

   数据挖掘工程师学历占比

   算法工程师不同工作年限的薪资涨幅

   算法工程师的学历占比

   大数据分析师学历占比

   本文通过爬取各大招聘网站对大数据分析行业细分岗位进行了，全方位、多角度的分析，希望对想加入大数据行业的小伙伴一些指导和帮助，大数据分析针对不同专业、不同学历的人都报以开放接纳包容的态度，只要坚持学习。