基本信息
姓 名： 籍 贯：
性 别： 男 民 族：
毕业院校 ： 学 历：
联系电话 ： 邮 箱：
英语能力： 工作经验： 三年
求职意向
期望职位 ：大数据开发工程师 期望薪资 ： 面议
工 作 性 质：全职
专业技能
1.掌握Hadoop原理，理解HDFS、YARN的底层工作原理,掌握MapReduce工作原理,熟悉Shuffle机制，并能进行mr调优。
2.熟练使用SparkCore、SparkSQL、SparkStreaming，能进行Spark调优 。
3.掌握Hbase的运行机制, split及compact机制,Rowkey设计原理。
4.掌握Hive数据仓库，能够编写SQL语句进行业务指标的分析。
5.熟悉Redis五种数据机构,了解Redis持久化机制(RDB和AOF)。
6.熟悉大数据生态圈Kafka，Sqoop，Flume，Zookeeper，Oozie, Elasticsearch， Azkaba，Echarts常用组件的部署及使用；
7.熟悉Linux环境，了解Linux下大数据的环境搭建，熟悉shell脚本;
8.掌握Zookeeper的选举机制及其分布式版本控制,通知机制。
9.熟悉Java，Scala面向函数式编程，能够用Java，Scala进行Spark框架业务开发。
10.对Flink，FlinkCEP，FlinkSQL有一定了解。
11. 了解数据挖掘中K-means、线性回归、朴素贝叶斯、决策树等部分算法，良好的数学基础和逻辑概念。
12.具有良好的代码编写习惯和文档操作能力；
项目一
项目名称： 友金所APP个性化理财服务推荐2018.09—2019.07
系统架构：HDFS+Sparkstreaming+SparkSql+Redis+Flume+Kafka+Mysql+Zookeeper
项目描述：随着金融行业的井喷式发展，获取信息的方式越来越多，人们从主动获取信息逐渐变成了被动接受信息，信息量也在以几何倍数式爆发增长。为了提高产品服务质量，满足客户的个性化需求，给客户针对性推荐有价值的产品信息，现需将每位客户的需求更加细化、精准化，通过收集用户的信息与浏览行为习惯，为每个用户打上标签构建专属用户画像，针对性匹配金融产品，帮助客户发现真正有帮助，有价值的信息，节省客户的浏览时间，快速了解类似产品和资讯的速度，缩短成交周期。
主要职责：
1.通过定制好的web端添加标签信息到MySQL中。
2.从HBase中获取到用户数据信息，与MySQL中标签数据进行匹配,分析业务需要的指标，从上网行为、关注的产品类型、用户投资借贷等不同维度进行维度聚合，统计信息的各项指标；
3.用SparkSql进行分析数据，分析用户日志添加标签构建用户画像；
4.根据MySQL中的标签库给不同用户添加标签VIP等级、消费等级、风险等级、收益幅度、投保时长等；
5.通过构建匹配、统计、挖掘模型，把用户的学历、职业、商圈、消费能力、商品偏好、房产、车产等用户属性与标签进行合并，最终产生的用户标签数据，保存到Hbase中;
项目二
项目名称：学堂在线APP实时课程资源推送 2017.09—2018.07
系统架构：Flume+ Hadoop+ Hive+ Kafka+SparkStreaming +HBase+Azkaba
项目描述：
在移动互联网的发展下，教育不仅仅局限于课堂之上，在慕课的发展思潮下，国内也开始了慕课的发展黄金期，与移动互联网的发展相结合，学堂在线是将各个名校的课程资源发布到网上，可以让师生进行实时地互动答疑，学生可以根据自己的所学的专业，进行线上的学习，然后进行提价作业，老师既可以在线进行解答批改，也可以离线进行批阅。
主要职责：
1.用SparkStreaming从Kafka获取到用户正在观看的课程视频，对该视频所属课程、院校、名师、在线时长等信息进行分析处理，将这些字段存储到MySQL中，实时给用户推送同类型的不同院校和不同老师的课程资源信息。
2.实时监控学生的作业的提交情况，对于师生实时互动的课程，在学生提交作业的同时，便发送相关提醒给老师，由老师决定立刻进行批改，还是课程结束后进行批改。
3．直播课程，Flume采集到日志数据，对接到Kafka ,用SparkStreaming统计得出到当前学生在线人数，提问人数，来自哪些地区等一些字段，存入到MySQL中，前端进行调用展示到页面上。
4. 学生在完成阶段性学习之后，用SparkSql从Hive中的学习情况统计表中找到完成学习课程这一字段为1的学生抽取出来，存入到Hbase中，对应地从Hbase的题库中找到相关课程的试题，将这些试题推送给学生。
项目三
项目名称：牛影视在线电影网日志数据分析 2017.01—2017.06
系统架构：Flume+ Hadoop+ Hive+ SparkSql + Sqoop+MySQL+Azkaba+Kylin
项目描述：该项目是为电影网站进行收视统计，在用户观看的各类电视剧、电影节目中为了便于我们掌握用户哪个电视剧与电影更受观众欢迎，我们可以通过一些用户的观看情况进行监测，求出各类热门的电视剧与电影，实时的统计每天在线的人数。
主要职责：
1．用Flume从从日志系统中采集到用户的日志，清洗存入到Hdfs和Hive进行整合；
2. 负责参与网站指标离线统计分析:1）每天在线的用户数；2）统计出当天的电影播放的TOP-N；3）访问网站的分别来自什么客户端；4）统计出在线观看的电影类型TOP-N；5）统计用户的在线时长
3. 数仓分为三层，ODS的原始数据层，DW层业务数据层，ADS层数据分析层；
4. 使用Spark MLlib的ALS推荐算法分析给用户推荐离线视频；
自我评价
- 本人性格开朗、待人热情、真诚；
- 工作认真负责，积极主动，纪律性强，工作积极配合；
- 勤于思考，热爱学习，逻辑清晰， 善于从多角度分析问题；
- 有很强的组织能力和团队协作精神，具有较强的适应能力。