开始
去年的6月，经历了半年的培训（其实满打满算总共上课的时间加起来就2礼拜），真的是学无所成，浑浑噩噩，但是亏着自己还是自己肯学，买了一堆的书，即使看进去的不多，但是都能翻一遍，记住一些有用的知识。然后面试了一家公司，经历了一轮面试，一轮远程答题，HR打电话告诉我等过几天就可以给我Offer了，我欣喜若狂的觉得终于可以去工作了，也没去想找第二家。结果在家等了一个月杳无音讯，联系之前打电话的HR，人家也是实习生，完了人家说，领导出差需要等他回来签字，得下周确认，于是又是等待。结果下周打电话，人说没有Head count了。我第一次觉得这是对自己的不负责任，不应该只找一家。公司不提了，是一家做电信大数据的。而后呢，我朋友去面试，我就自己带着一份简历跟着去霸面，还好就成了。也算自己点正，也是面试我的，也是我现在的同事心软，没刁难我。
接着
到了数据集成小组工作。做起了运维，开始维护集成任务。集群是阿里的ODPS，很稳。基本都是些小错误。干了一个月运维，开始写Shell脚本，秉承精勤博学、学以致用的校训，我的shell真是从无到有，我也真是一直身体力行着我们学校的校训，一点一点搞Shell。然后写Java通过调用Restful接口，返回Json，用GSON解析返回值，然后生成一些Excel文档。到了17年年底，我被强哥抓上去搞数据链路改造，其实主要原因是我们属于被动集成数据，表结构总会变更，这样的操作让我生活中ODS层简直是。。。而且数据质量不能有效保证，完整性呢，因为是把动态库的某一时间点打snapshot，然后DataX抽取这个Snapshot的数据，相当于我要一份静态的历史，结果总会有一些渴望被保存的小宝贝偷偷溜入我们的仓库。所以完整性只能保证个大概，一致性呢，表结构一个月变一次，数据的规范也不是统一的，呵呵呵我尼玛--此处画外。准确性呢，一致性都保证不了，准确性......数据值的规则又不统一，不过能用就好，毕竟数据量太大了。最后说到及时性，这个就是新链路的重点，旧链路是Oracle -ogg- Oracle-adg-Oracle-datax-ODPS，归档数据量太大，总会有归档延迟产生，所以就导致抽取不及时，而且大数据这种东西，真的很依靠带宽，老是抽不上来数，所以就导致及时性无法保证。于是乎呢，新链路通过将Oracle的附加日志，通过ogg解析成平面文件，经过压缩，传到调度节点上进行，调度节点通过抽取本地的平面文件，数据以增量的方式加载到ODPS。然后实施差不多了呢，就开始验证数据链路，就是对数。数据比对真的是个很终于的工作，要保证数据量对，数据状态对，能找到数据的历史状态。于是对了一个月数，开始写文档中间省略号----到了6月，基本就搞完了。开始做集成组规范化工具，就是一web系统。
最后
这一年技术学习了Shell、Python、Java、JQuery、HiveSQL、ODPSSQL、JVM、MySQL innodb、Oracle、Oracle GoldenGate、Quartz、Oozie、MapReduce、Zookeeper、SparkStreaming、目前在学习Flink
虽然学习了这些，但是距离真正掌握还是差了不是一点半点儿。所以下半年是一个沉淀的时候，引用PerfMa笨神的赠语-----厚积薄发。让自己明年有一个新的突破。
20180729 工作第二年第一天
今盛开～每一个今天都要盛开的小花花。我不是天生很娘，我只是女票如郎。