「大数据就业」大数据开发:成为大数据高级工程师都有哪些要求?

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接: https://blog.csdn.net/qq_43958467/article/details/100564451

大数据平台研发高级工程师

  • 工作职责:

1、负责建设公司大数据平台,为公司用户提供稳定、易用的大数据平台工具和便捷、酷炫的数据产品;

2、参与并主导大数据平台工具链的设计、开发以及后续维护;

3、参与数据产品的研发,助力数据商业价值的发掘;

4、不断迭代优化已有大数据平台工具和数据产品,推动大数据平台的发展。

  • 岗位要求:

1、全日制本科及以上学历,6年以上相关工作经验,扎实的Java基础知识,具有JavaSpring研发和大型系统架构经验,熟悉分布式系统的设计和应用;

2、熟悉Hadoop/Hbase/Hive/Kylin/Impala/Spark/Flink/Flume/Storm/Druid等大数据开源框架,清楚原理和机制;

3、清晰的逻辑分析和表达能力,热爱技术,乐于分享,对行业和技术的发展有自己的见解;

4、有数据平台建设经验者优先;

5、良好的语言沟通能力与表达能力,能够自我驱动。

大数据研发高级工程师

  • 工作职责:

负责分布式大数据应用平台开发(包括数据服务接口系统、画像系统、多维分析系统、实时处理系统等)的架构设计和开发;

负责推荐引擎平台相关模块的开发;

负责数据系统后台存储和计算优化。

  • 任职要求:

计算机相关专业本科及以上学历,五年以上开发工作经验,有扎实的计算机理论基础;

至少熟练使用JAVA、GOLANG、PHP、C++开发语言中的1-2种;

具备海量实时数据处理平台建设经验优先;

熟练掌握并能熟练应用常用算法、数据结构,有搜索、推荐等相关工作经验者优先;

熟悉海量数据数据仓库体系建设的优先;

熟悉HADOOP/SPARK/FLINK/DRUID/等组件,有相关项目经验优先。

大数据高级大数据工程师

  • 岗位职责:

1. 负责大数据管理平台的设计与开发;

2. 负责大数据平台相关组件的二次开发;

3. 负责数据仓库的ETL设计与开发;

  • 任职要求:

1. 本科以上学历,计算机,数学等相关专业;

2. 3年以上的大数据开发经验,掌握整个大数据开发流程;

3. 掌握java语言,能熟练使用shell脚本;

4. 精通Hadoop\hive\spark\presto\oozie等开源大数据技术组件中的至少两种;

5. 具备良好的团队合作精神、较强的自驱力,抗压能力,沟通能力,责任心以及独立解决问题的能力;

6. 有带团队经验优先。

大数据后端开发高级工程师

  • 工作职责:

1、负责大规模实时系统的架构设计和研发工作。

2、参与复杂分布式系统的设计、开发、维护及优化。

3、和团队一起攻克高性能、高并发、高可用性等各种不同技术场景下的技术挑战。

  • 岗位要求:

1、计算机相关专业,至少5年以上开发经验,熟练掌握至少一种后端开发语言,比如Python/Golang

2、具备扎实的编程基础,熟悉常用数据结构与算法,熟悉常用分布式算法。

3、熟练使用MYSQL以及常用NOSQL数据库。

4、熟悉Linux系统原理,包括但不限于IO栈,文件系统,网络协议栈等。

5、熟悉分布式理论及对应实现。

6、熟悉微服务设计思想并有实践经验。

7、熟悉docker以及相关工具链的使用。

8、具备线上问题解决与系统性能优化的经验。

9、有较强的文献阅读和算法实现能力。

10。有良好的团队合作和沟通能力。

11、有以下相关经验优先:有海量用户系统开发经验的优先;开源社区参与者和贡献者优先;了解机器学习算法的优先。

12、有Hadoop、spark、kubernetes等开源分布式系统经验的优先。

大数据工程师

  • 工作职责:

1、参与搜索数据平台架构和规划;

2、参与数据仓库的建模开发,满足业务各应用端对数据的使用需求;

  • 任职要求:

1、从事数据仓库领域至少2年以上,熟悉数据仓库模型设计与ETL开发,具备海量数据加工处理(ETL)相关经验

2、具有一定数据模型和数据架构基础,熟悉hadoop \ hive和常用数据库,理解云计算和数据服务

猜你喜欢

转载自blog.csdn.net/qq_43958467/article/details/100564451