HIVE元数据使用场景落地(python版本)

一、背景参考

数仓-HIVE元数据收集指标

二、使用场景举例

1、调度元数据
  • 通知-关键任务完成时间
  • 异常-关键任务没按时完成
2、存储元数据
  • 占用HDFS空间TOP表
  • HDFS文件数 新增TOP表
3、计算元数据
  • 数据倾斜任务列表
  • 大任务TOP列表

三、CODE DEMO

HIVE元数据收集(python版本)

HIVE元数据落地代码

发布了53 篇原创文章 · 获赞 50 · 访问量 2万+

猜你喜欢

转载自blog.csdn.net/xw514124202/article/details/104098551
今日推荐