虫洞系统是吸星大法项目衍生出来实时计算的基础平台。
它以storm实时流处理引擎为基础,提供了计算力、数据源整合、数据交换、监控几大功能模块。任务的权限控制正在筹划中。
这几个功能模块是此实时计算平台提供稳定运行的基础,虫洞系统承载的业务包括:月光宝盒、一淘首页个性化(实时用户个性化指标的计算)、吸星大法实时日志接入(数据源整合)。
- 计算能力
基于storm的流式处理任务可以直接运行在虫洞系统上,避免了搭建、维护集群的成本,极大的节约了业务的成本、提高了开发的效率和系统的稳定性
- 数据源整合
目前虫洞系统整合了多个实时数据源,这些数据源组合起来,可以实现完整的业务分析。 吸星大法实时数据接入将数据源接入、归一化,为使用方提供格式一致的数据,简化了日志使用的成本和难度。目前接入的主要数据源有:
– 全网Aplus日志
– 订单
– 支付宝交易
– 站外B2C
– 实时购物车、收藏夹等
- 数据交换
基础日志经过归一化之后,根据业务场景需求,可以有两种方式来使用:
1) Hbase, 如果需要回溯历史数据,可以使用Hbase接口来访问
2)虫洞(动态端口), 高效、便捷的数据交换形式,支持日志的横向和纵向任意裁剪,支持客户端的动态负载均衡;高容错性等很多特性
上述两种方式都提供了客户端sdk供使用
- 监控系统
监控系统是虫洞系统稳定运行的基础。它有两个主要功能: 1) storm task级状态的汇总 2)异常状态的报警,目前支持短信、旺旺报警
storm task级监控室为storm量身定做的监控系统,使得集群中不同机器间的状态统一监控,监控指标丰富、并且可自定义,是任务开发、调试、运维的利器。
转自淘宝