1. 日志系统
日志采集器:Logstash作为ELK一部分而出名,Fluentd越来越被Docker等领域采纳;
日志缓存队列:kafka
日志解析器:可以把Logstash和Fluentd作为日志解析器,也可以用strorm、spark等流式计算提取更复杂的指标后进行存储;
日志存储和搜索:Elasticsearch或sorl等工具进行搜索,Elasticsearch是基于Lucene搜索引擎的nosql数据库
日志展示系统:kibana
2. APM和调用链跟踪系统
(开源:Pinpoint(APM)、Zipkin(调用链跟踪系统)、CAT
(商业:听云、博睿、OneAPM、云智慧
采集器:应用层主动推送、AOP推送、JavaAgent字节码增强和日志代理推送(Logstash、Fluntd)
缓存队列:kafka消息队列,或直接用UDP协议推送信息
处理器:strorm、spark等流式处理器
存储:Hbase存储
展示系统:前端使用ECharts插件来实现树形图展示;
3. HDFS、HBASE、Hadoop --- 来自网络