大数据如何做验证数据正确性
Posted 该用户很懒
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了大数据如何做验证数据正确性相关的知识，希望对你有一定的参考价值。
最近在测试实时日志检索系统，有些服务日志流量较大，顶峰有15w/s的流量，日流有70亿。如何验证检索数据的正确性呢？两个方面，1、检索结果中的数据格式检验 2、检索结果中的数据量是否符合检索条件
对于小流量服务的测试方案是通过http请求来构造日志数据，结合grafana对http请求数的监控来实时获取实际产生的日志数据，然后对比日志检索服务搜索出来的数据，通过这样的方式来验证检索数据的正确性
但是对于大流量服务，因为测试环境也不支持构造如此大tps的场景。因此我们选择了一下两种方案：
1、样本数据检测。每隔一段时间汪线上的真实数据中注入测试日志数据，统计日志检索服务搜索结果中的样本数据，然后和实际构造的样本数据进行数量以及格式的对比
2、参考历史数据。假设待测服务已经上线半年以上了，已经对该服务的日志流量做了线上监控，历史数据已知。此时我只需要对比日志检索服务搜索出来的数据和历史数据做对比
以上是关于大数据如何做验证数据正确性的主要内容，如果未能解决你的问题，请参考以下文章