阿里云日志服务的架构与优势

关于阿里云日志服务使用教程详细内容:阿里云日志服务使用教程

产品架构:

日志服务的架构如下图所示

图 1. 产品架构


Logtail

帮助您快速收集日志的Agent。其特点如下所示:

  • 基于日志文件、无侵入式的收集日志
    • 只读取文件。
    • 日志文件无侵入。
  • 安全、可靠
    • 支持文件轮转不丢失数据。
    • 支持本地缓存。
    • 网络异常重试。
  • 方便管理
    • Web端操作。
    • 可视化配置。
  • 完善的自我保护
    • 实时监控进程CPU、内存消耗。
    • 限制使用上限。

前端服务器

采用LVS + Nginx构建的前端机器。其特点如下所示:

  • HTTP、REST协议
  • 水平扩展
    • 流量上涨时可快速提高处理能力。
    • 支持增加前端机。
  • 高吞吐、低延时
    • 纯异步处理,单个请求异常不会影响其他请求。
    • 内部采用专门针对日志的Lz4压缩,提高单机处理能力,降低网络带宽。

后端服务器

后端是分布式的进程,部署在多个机器上,完成实时对Logstore数据的持久化、索引、查询以及投递至MaxCompute。整体后端服务的特点如下所示:

  • 数据高安全性 :
    • 您写入的每条日志,都会被保存3份。
    • 任意磁盘损坏、机器宕机情况下,数据自动复制修复。
  • 稳定服务:
    • 进程崩溃和机器宕机时,Logstore会自动迁移。
    • 自动负载均衡,确保无单机热点。
    • 严格的Quota限制,防止单个用户行为异常对其他用户产生影响。
  • 水平扩展:
    • 以分区(Shard)为单位进行水平扩展。
    • 用户可以按需动态增加分区来增加吞吐量。

产品优势:

全托管服务

  • 应用性强,5分钟即可接入服务进行使用,Agent支持任意网络下数据采集。
  • LogHub覆盖Kafka 100%功能,提供完整监控、报警等功能数据,并支持弹性伸缩(可支持PB/Day规模),使用成本为自建50%以下。
  • LogSearch/Analytics 提供快速查询、仪表盘和报警功能,使用成本为自建 20%以下。
  • 0+接入方式,与云产品 (OSS/E-MapReduce/MaxCompute/Table Store/MNS/CDN/ARMS等)、开源软件(Storm、Spark)无缝对接。

生态丰富

  • LogHub 支持30+采集端,包括Logstash、Fluent等,无论是嵌入式设备,网页,服务器,程序等都能轻松接入。在消费端,支持与Storm、Spark Streaming、云监控等对接。
  • LogShipper 支持丰富数据格式(TextFile、SequenceFile、Parquet等),支持自定义Partition,数据可以直接被Presto、Hive、Spark、Hadoop、E-MapReduce、MaxCompute、HybridDB等处理。
  • LogSearch/Analytics 查询分析语法完整、兼容SQL92、支持JDBC协议与Grafana对接。

实时性强

  • LogHub:写入即可消费;Logtail(采集Agent)实时采集传输,1秒内到服务端(99.9%情况)。
  • LogSearch/Analytics:写入即可查询分析,在多个查询条件下1秒可查询10亿级数据,多个聚合条件下1秒可分析1亿级数据。

完整API/SDK

  • 轻松支持自定义管理及二次开发。
  • 所有功能均可通过API/SDK实现,提供多种语言SDK,可轻松管理服务和百万级设备。
  • 查询分析语法简单便捷,兼容SQL92;接口友好、适合与生态软件对接,提供Grafana对接方案。

更多精品课程:

阿里云大学官网(阿里云大学 - 官方网站,云生态下的创新人才工场

猜你喜欢

转载自blog.csdn.net/lsj960922/article/details/82014764