放在前面
因为公司的需要吧,再加上本人对处理数据比较热爱,公司吧这个项目交了下来(其实只有一个pdf -_-||) ,也是没办法啦这种公司内部消化的系统本就是靠产品的迭代前进的.
技术选型
项目初期的目的比较简单,而且还算明确,就是将公司现有的数据进行收集,之后展示出来.只要能完成老大并不关心你是用什么技术(这就开心了),技术方面,
所使用的技术
- 数据存储占时使用elasticsearch,将来基本的数据存储可能会用到hbase
- 数据收集方面前期主要是对公司内部的数据进行采集,所以主要是从库中自己去查多以不做过多考虑
- 数据实时的同步方面使用的比较乱,rabbitMq(暂时)+logstash+canal
- 前台使用的时vue.js的elm组件和手拉手(不懂前台那些东西)
目前的进度
随便拉了点数据,做了个注册统计,老大感觉效果还是可以的(项目应该黄不了(^▽^))
目前的难点
现在,需要进行埋点信息采集,目前我解决的方案就是,使用拦截器对接口调用成功的方法进行拦截,之后将需要的信息发送到mq中
3月24号总结下吧
新开一篇