实践Hadoop MapReduce 任务的性能翻倍之路

作者:李万雪, eBay软件开发工程师,2017年毕业于上海交通大学。目前负责日志在大数据平台上的分析和opentracing在ebay日志平台的实现。

原文链接:https://mp.weixin.qq.com/s?__biz=MzA3MDMyNDUzOQ==&mid=2650505625&idx=1&sn=374ae0fdf7b02cf3dfdd9180580204cb&chksm


摘要

eBay的CAL(Central Application Logging)系统负责收集eBay各种应用程序的日志数据,并且通过Hadoop MapReduce job生成日志报告,应用程序开发人员与运维人员通过报告可获得以下内容:

  • API调用响应时间的百分位值
  • 服务调用关系
  • 数据库操作

eBay每天产生PB量级的CAL日志,







猜你喜欢

转载自yq.aliyun.com/articles/740716