带你认识数仓的监控系统TopSQL

本文分享自华为云社区《GaussDB(DWS)TopSQL总结》,作者:nullptr_ 。

TopSQL 背景

TopSQL为DWS的监控系统,记录DWS中各个作业、算子级别的资源使用数据、耗时数据,包括下盘信息、内存、网络、耗时、警告、基础信息等作业执行的数据。

TopSQL 简介

TopSQL分为实时表和历史表,实时表主要展示系统当前的负载情况,历史表主要用于存储作业执行的历史情况。历史表主要用于历史问题的分析回溯和问题定位、实时表主要用来展示当前系统中作业执行情况,让系统现场更加直观,为运维工作带来了极大的方便。

TopSQL 功能介绍

主要视图

前提条件(参数介绍)

  • enable_resource_track topsql开关,是否开始topsql功能
  • resource_track_level 设置监控级别,query:类似于sql的explain输出信息,perf:类似于explain analyze输出信息,operator_reltime: 统计实时算子信息,operator:详细记录到每个算子的执行信息,并且层级为向下兼容 query->perf->operator_reltime->operator
  • resource_track_cost topsql追踪执行时间大于等于resource_track_cost 的作业
  • enable_track_record_sql 控制是否记录存储过程、匿名块内部的语句
  • enable_track_record_subsql 控制是否记录存储过、匿名块内部语句
  • resource_track_subsql_duration 过滤执行时间小于resource_track_subsql_duration的语句

字段含义介绍(重点功能作用)


类型介绍

值异常分析

当作业因为异常例如某DN挂了,作业会重新开始,topsql会记录两条记录

TopSQL 重点逻辑梳理剖析

在DN通过打桩定期记录作业的实时信息,并将记录定期发送至CN,并将信息定期存储至实时表中pgxc_wlm_session_statistics中,并定时将实时表中的作业落盘到历史表中pgxc_wlm_session_info中,此过程为了减少阻塞将记录放到无锁队列中,无锁队列提供了记录的CAS原子操作,然后定期读取无锁队列中的内容进行转储,pgxc_wlm_session_info通过start_time进行分区,每天一个分区,通过参数topsql_retention_time配置默认保留30个分区即30天的记录,定期对pgxc_wlm_session_info的分区进行清理、创建。此过程在dws中有单独的线程运行,对系统的影响较小。无锁队列大小是有上限的,如果转储处理的速度赶不上生成的速度那么作业也会被丢弃。

历史

当前pgxc_wlm_session_history只包含最近3分钟的数据且数据来源实际是pgxc_wlm_session_info。

点击关注,第一时间了解华为云新鲜技术~

比 Protocol Buffers 快无限倍,开源十年后 Cap'n Proto 1.0 终发布 华中科技大学博士后复现 LK-99 磁悬浮现象 龙芯中科研制成功新一代处理器龙芯 3A6000 miniblink 108 版本成功编译,全球最小 Chromium 内核 ChromeOS 将浏览器和操作系统拆分独立 特斯拉中国商城上架 1TB 固态硬盘,售价 2720 元 华为正式发布 HarmonyOS 4 火绒安全升级版本,导致所有基于 Electron 的应用卡顿 AWS 明年开始对 IPv4 公网地址收取费用 Nim v2.0 正式发布,命令式编程语言
{{o.name}}
{{m.name}}

猜你喜欢

转载自my.oschina.net/u/4526289/blog/10092912