数据统计 任务的一点感想

Posted 2021-01-31 zhangchenglzhao

需求： 多张表（个数不定，需求不是非常明确，只有一个大致需求）根据业务需求统计出一些数据 （按天统计，数据有多条校验规则）进行上传。

　　注意： 校验数据是否正确是需要第三放来反馈的，而且第三方的测试环境是忽略校验规则。

 

1. 由于需求字段的来源本身就不是很明确， 加上我们库里的数据 本身就有错误，可能需要手动调整。加之第三发的测试环境是忽略规则校验的，也就是说你没法知道你写的对不对，只能在

生产环境看反馈 。 所以如果你用程序去写生成数据过程，多次修改bug 是基本上会发生的事情，而正式环境显然没法让你来回多次发版（坑爹的三方）。所以建议优先考虑使用sql 直接写（过程，函数。总之直接操作数据库），

sql 比较难，用程序一定要多注意下面的几个问题。

2. 数据不可能一次全部正确，那么就要拍错，这个时候必要的冗余字段就能帮你快速定位错误原因。 建议多冗余一些表的主要字段和关联字段。

　　比如子表的no, 

3. 数据按天生成的，每天有很多数据，上报之前我并不知晓其有错误，上报后发现有几条有小错误。 但是我们任务比较急，就先把错误的给删掉了，把正确的先传上去。

　　删除一时爽，但是这些错误数据后续还是要补上的，这就郁闷了。我们是备份然后删除，如何恢复？导入 然后修改。 然后所有数据重新上传（为什么不只上传错误的？错误的每天都有，而且导入后也没有特定错误标识，

　　而且上传也是程序按天上传）。

　　这里有两个问题： 1. 备份删除导入， 2. 重新 全部 上传

　　想到一个办法： 就是表加个标识，标识未校验通过， 校验通过 ，已上传， 没有有错误的数据，我们sql 命令 处理为校验通过，然后上传后改为已上传。 当然如果是错误很多还是全部上传吧。。

　　这个主要功能还是为了解决删除备份的问题。