数仓建模—数据质量

数据质量

今天我们看一下数据质量,其实我们在学习数仓的时候提到过如何评价一个数仓的好坏,我们一般是从稳定性、数据质量、及时性 这三个角度去衡量,当然关于这个怎么去量化我们前面提到过,数仓最终是为了支撑决策,决策的前提要保证数据的准确性也就是我们的数据质量,也就是说其实这三个指标中,最重要的就是数据质量。

例如如何衡量稳定性,我们可以使用出错任务数/任务的个数,当然这个不太合理就是我们的任务是有权重和优先级的,所以可以将权重考虑进去,从而可以得到数仓的稳定性指标。

数据质量评估

数据质量可以从完整性、准确性、一致性和及时性共四个角度进行评估

image-20211108150759432

完整性

完整性是指数据的记录和信息是否完整,是否存在数据缺失情况。数据缺失主要包括记录的缺失和具体某个字段信息的缺失,两者都会造成统计结果不准确。

完整性是数据质量最基础的保障。例如,某个稳定业务的数据量每天约为100万条记录,某天突然下降了1万条,则可能是出现了记录缺失。例如,某科高考成绩表中,每个考卷分数都对应一个准考证号,当准考证号字段的空值数大于0时,则可能是出现了信息缺失。

准确性

准确性是指数据中记录的信息和数据是否准确、是否存在异常或者错误的信息。例如,成绩单中分数出现负数、订单中出现错误的买家信息、UV或者PV数值小于0等,这些数据都是问题数据。确保记录的准确性也是保证数据质

猜你喜欢

转载自blog.csdn.net/king14bhhb/article/details/121210698