数据统计 任务的一点感想

需求: 多张表(个数不定,需求不是非常明确,只有一个大致需求)根据业务需求统计出一些数据 (按天统计,数据有多条校验规则)进行上传。

  注意: 校验数据是否正确是需要第三放来反馈的,而且第三方的测试环境是忽略校验规则。

1. 由于需求字段的来源本身就不是很明确, 加上我们库里的数据 本身就有错误,可能需要手动调整。加之第三发的测试环境是忽略规则校验的,也就是说你没法知道你写的对不对,只能在

生产环境看反馈 。 所以如果你用程序去写生成数据过程,多次修改bug 是基本上会发生的事情,而正式环境显然没法让你来回多次发版(坑爹的三方)。所以建议优先考虑使用sql 直接写(过程,函数。总之直接操作数据库),

sql 比较难,用程序一定要多注意下面的几个问题。

2. 数据不可能一次全部正确,那么就要拍错,这个时候必要的冗余字段就能帮你快速定位错误原因。 建议多冗余一些表的主要字段和关联字段。

  比如子表的no, 

3. 数据按天生成的,每天有很多数据,上报之前我并不知晓其有错误,上报后发现有几条有小错误。 但是我们任务比较急,就先把错误的给删掉了,把正确的先传上去。

  删除一时爽,但是这些错误数据后续还是要补上的,这就郁闷了。我们是备份然后删除,如何恢复?导入 然后修改。 然后所有数据重新上传(为什么不只上传错误的?错误的每天都有,而且导入后也没有特定错误标识,

  而且上传也是程序按天上传)。

  这里有两个问题: 1. 备份删除导入, 2. 重新 全部 上传

  想到一个办法: 就是表加个标识,标识未校验通过, 校验通过 ,已上传, 没有有错误的数据,我们sql 命令 处理为校验通过,然后上传后改为已上传。 当然如果是错误很多还是全部上传吧。。

  这个主要功能还是为了解决删除备份的问题。

猜你喜欢

转载自www.cnblogs.com/zhangchenglzhao/p/10209751.html