基于快手直播场景聊一聊数据质量体系

Posted 2022-11-23 学而知之@

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了基于快手直播场景聊一聊数据质量体系相关的知识，希望对你有一定的参考价值。

点击上方蓝字关注我们，及时获取最新咨询！！点关注，不迷路~

摘要：今天分享的内容是基于快手直播场景谈一谈数据质量体系

分享时间：2021年6月10号

内容分享：杨老师

归纳整理：皮卡丘

主要内容：

1、数据质量概述

2、数据质量的维度

3、数据质量产生的原因

4、快手数据质量理念

5、快手数据质量保障体系

6、快手数据质量体系在直播的实践

一

什么是数据质量

数据无处不在。随着互联网的高速发展，数据也成指数级的增长着。但是，如果没有好的数据，想做的事就困难了。无论是推出新产品或新服务，还是简单地响应竞争对手的举动，做出明智、及时的商业决策，几乎完全取决于手头数据的质量。

数据质量的高低代表了该数据满足数据消费者期望的程度，这种程度基于他们对数据的使用预期。

人们试图用这样的术语来描述数据质量完全, 准确, 可接近，和一致等等。虽然每个词都描述了数据质量的一个特定元素，但更大的数据质量概念实际上是关于该数据是否达到了您想要用于的目的。

但是，数据质量必须是可测量的，把测量的结果转化为可以理解的和可重复的数字，使我们能够在不同对象之间和跨越不同时间进行比较。数据质量管理是通过计划、实施和控制活动，运用质量管理技术度量、评估、改进和保证数据的恰当使用。

二

数据质量的维度

说到维度，做数仓的小伙伴肯定不陌生。凡事都有维度，维度是反应事物的角度。正所谓维度越丰富，形象越饱满。

数据质量也有维度，主要体现在以下几个方面：

1、准确性（Accuracy）：

是指数据采集值或者观测值和真实值之间的接近程度，也叫做误差值，误差越大，准确度越低。数据的准确性由数据的采集方法决定的。

2、精准性（Precision）：

是指对同一对象的观测数据在重复测量时所得到不同数据间的接近程度。精确性与我们数据采集的精度有关系。精度高，要求数据采集的粒度越细，误差的容忍程度越低。

3、真实性（Rightness）：

数据的正确性取决于数据采集过程的可控程度，可控程度高，可追溯情况好，数据的真实性容易得到保障，反之则真实性难以保证。

4、及时性（In-Time）：

是指数据能否在需要的时候得到保证，数据的及时性与企业数据处理的速度和效率有直接的关系，为提高效率，而采用各种技术手段进行处理。

5、即时性（Immediacy）：

是指数据采集时间节点和数据传输的时间节点，一个数据在数据源头采集后立即存储，并立即加工呈现，就是即时数据，而经过一段时间之后再传输到信息系统中，则数据即时性就稍差。

6、完整性（Integrity）：

是指从数据采集到的程度来衡量的，是应采集和实际采集到数据之间的比例，数据的完整性体现着这个公司对数据的重视程度。

7、全面性（overall）：

数据的全面性和完整性不同，完整性衡量的是应采集和实际采集的差异。而全面性指的是数据采集点的遗漏情况。

8、关联性（Relevance）：

是指各个数据集之间的关联关系，如果有任何的数据集不能连接到其他的数据集，就会存在数据割裂或者数据孤岛。

三

数据质量产生的原因

凡事都有因果，数据质量出现问题，也有其产生的原因，是可以追溯根源的。数据质量产生的根本原因，总结如下几点：