一个优秀的大数据开发工程师的日常是怎么样的?

        大数据开发工程师,看起来很高端。但很多时候都是脱离不了开发的层面,基本上大部分人都是api的调用者。除了少部分人是为了大数据开发的底层服务。

        那么,作为优秀的大数据开发工程师是怎么样的体验呢,可以先聊聊技术方面的。
        
        1、你需要有扎实的计算机理论基础,对数据结构以及算法有较强的功底。
        2、熟悉Hadoop/Spark/Hive/Hbase/Flink 等大数据工具
        3、精通SQL,熟悉常用的关系型数据库、非关系型数据库和数据仓库,具有SQL性能优化经验;
        4、熟悉分布式相关系统开发的工作。
        5、学习能力强,喜欢研究开源新技术。
        6、保持好奇心,学会跟踪现在的技术流行度。说不定你现在弄的数据仓库,在几年后已经跟不上潮流。

        在说完技术后,可以看下一下日常的工作流程方面。

        1、在如何的有效利用数据前,我们通常需要的是如何先搭建好一个仓库。该数据仓库具有可拓展性,接入性强。
        
        2、其次学会如何去解决问题。针对数据的问题,有时会出现最后产生的报表数据对不上,因为一份最终的数据往往来源于很多原始数据,中间又经过n多处理。要求你对数据敏感,并把握问题的本质,追根溯源,在尽可能的时间里解决问题。
        
        3、最后数据的问题都是你的问题,在数据入库到数据落地使用的过程中,需要处理好有问题的数据,以及需要筛选有用的数据。

        讲述完一堆繁琐的理论,那么如何在日常中提升自己呢?首先确定的是,实践出真知。不多点尝试,如何知道可能会发生的事情,任何的知识构建都离不开实践的积累。
        
        多看市面上的一些工业流程,是什么理论,从哪里入手去做这事,然后基于这种理论能否进行对应的模仿操作。当没有积累的时候,模仿往往是入门的开始。
        
        想要更加全面发展,那么就自己给自己创建对应的条件,从网上下载对应的数据以及如何去应用数据。
        
        如果是小白,那么可以多参加线下沙龙,最后你会发现,来来去去很多都是针对业务逻辑进行相对应的开发。大数据,脱离不开业务基础。
        
        多看点市面上的书,例如美团的大数据,分析他们使用的技术,以及技术上面对应的业务场景。看是否有借鉴作用,如果没有,能否作为知识库的积累,下次遇到相似的案例直接使用。
        
        最后一种日常,大概就是bug往往发生在不经意之间。

发布了146 篇原创文章 · 获赞 1340 · 访问量 35万+

猜你喜欢

转载自blog.csdn.net/weixin_44318830/article/details/103791826