数据质量分析之校验规则模板

现在的校验规则模板,把校验规则的种类、含义以及要填写的内容整理成了excel通用模板,但在实际执行过程中,每个人对校验规则的用途和校验方法存在不同的理解,而对于如何写出相应的校验SQL,有不同程度的困难。
现有的校验规则说明如下图
在这里插入图片描述
要填写的校验规则模板如下图:
在这里插入图片描述
从上面的图中可以感受到,如果表的字段较多,除了逐个判断每个字段适用的校验规则,还要写出相应的SQL语句,再将结果粘贴回来,大量的工作都是重复性的操作。在实践中确实也出现了类似的问题,有的人校验的规则多些,分析的深入一些,有人些则只做了简单的校验。本着简化手工操作、固化校验规则的原则,基于excel的VBA实现了一个数据质量校验的模板,可以自动化生成校验SQL,使用者可以将主要精力放在执行SQL及分析结构之上,模板如下:
在这里插入图片描述
目前模板支持:

  • 逐个字段分析要校验的内容,每个字段可以加入多个校验规则
  • 目前支持完整性校验、唯一性校验、业务周期完整性校验、存在一致性校验4种,后续可以加入更多的规则,包括日期格式校验、数值格式校验、长度校验等
  • 目前只考虑了MySQL的语法,可以根据情况实现多套数据库的语法支持
  • 理想情况下应该能实现执行SQL并显示结果,而不是给出SQL语句

感兴趣的同学,可以下载数据质量校验工具使用:
链接:https://pan.baidu.com/s/1XnbbyFuXv0nco2sl-ZT4gg
提取码:fvv4

猜你喜欢

转载自blog.csdn.net/weixin_42893650/article/details/88743432