数据质量

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了数据质量相关的知识,希望对你有一定的参考价值。

参考技术A 浅谈数据质量管理:为了更清醒的数据

数据质量管理的一些思考

大数据Clouder认证:使用MaxCompute进行数据质量核查

度量的两个方面:

1、设计质量度量

数据资产目录 数据标准 数据模型 数据分布

2、执行质量度量

完整性 准确性 唯一性 一致性 及时性 有效性  (单列、跨列、跨行、跨表)

数据质量设计原则

1、关键环节注入监控流程 比如数据源接入、多维模型等

2、重要数据:事务数据、主数据、基础数据(数据字典)要进入监控流程;持续稳定的数据可以退出监控流程;价值密度低可以退出监控流程;

数据质量四部曲

策划、控制、度量、改进

打分机制:

指定表的质量KPI,针对表的故障率进行数据质量运营。

最主要的数据质量度量:

1、完整性:空值,数据量(是否漏传)等;

2、一致性:各层前后结果是否一致;

3、是否重复性:数据在单层是否重复

工具:

Griffin 功能有Bug 

Shell+Hive 建议(通过Web界面化)

各层校验规则:

ods层:

- 增量数据记录数(短期)设置合理值

- 全量数据记录数(长期)设置合理值

- 空值:

-重复值:使用不为空的字段校验

dwd层:

- 一致性 将需要一致性检测的字段,与ods层做关联join

- 重复性 使用不为空的字段校验

- 空值不需要检验:因为已经做了一致性校验了

dws/dwt层:

- 思路跟ods层一样

ads层:

- 判定指标是否在合理范围内,需设置合理值,与之对比,如超预期,展现层不体现该指标,并触发质量问题排查追踪(atlas追踪血缘关系,触发ETL流程)

数据质量修复:

1、数据丢失:按DT分区,重新导入

2、数据重复:分区表:按DT分区,删除分区所有数据,重新导入;全量表:重导一次

3、指标不符合正常规律:atlas追踪血缘关系,触发ETL流程

数据质量分析

数据质量分析
一、引言
1.1 项目背景
数据质量监测是大数据处理中最重要的一个环节,是数据服务、数据分析、数据挖掘等活动的必备支持条件。

1.2 项目概述
提出了一个基于大数据平台的数据质量管理服务Qualitis,提供统一的流程来定义和检测数据集的质量并及时报告问题。

1.3 术语表
术语 含义
项目(project) 一系列规则的集合,决定告警人和告警级别,是任务调度的单位之一。
规则(rule) 数据源的数据质量模型的定义,决定是否告警,是任务调度的基础单位。
任务(application) 数据质量检测任务,通过运行数据质量任务,可以查看数据质量校验结果。
二、总体设计
2.1 总体架构设计

2.2 灰度功能设计
由于每个Qualitis后端服务是幂等的,要灰度只需要对单个后端服务进行隔离,让其无法接受用户请求。

2.3 高可用及性能设计
Qualitis各个服务之间是幂等的,可以通过同时起多个Qualitis服务,对Qualitis服务进行负载均衡进行实现。如下图所示: 负载均衡
负载均衡这一策略,不仅实现了高可用,并且也实现了性能的提升。

性能方面的设计,考虑以下方案。但目前暂未实现。

1.查询缓存
使用分布式缓存,将查询结果缓存起来,就不必查询的时候,每次都查询数据库,大大的减少了数据库的压力,并且提升了查询的速度。

2.4 多线程同步设计
1.进程同步
由于存在多个Qualitis实例,多个实例之间可能会存在同时刷新监控任务状态的情况,所以需要解决进程同步的问题。

Qualitis系统采用Zookeeper协调多进程,多个Qualitis实例会争抢在Zookeeper中建立临时节点,建立临时节点成功的,会作为Monitor角色,由Monitor角色对监控任务,并刷新任务的状态。

2.线程限流
当触发监控任务提交时,需要连接hive meta store,判断保存未通过校验的数据的数据库是否存在。

当提交任务量上来是,可能会对hive meta store造成巨大压力,所以需要对任务提交进行限流。

Qualitis系统使用线程池的方式,对连接hive meta store进行限流,如果从线程池中拿不到线程,任务会等待,直到拿到线程,才连接hive meta store。

三、 模块设计
3.1 总体模块设计图

3.2 用例图

四、 接口设计
4.1 内部接口
内部接口主要分为两类接口:
1.管理员接口
2.用户接口

管理员接口设计: /qualitis/api/v1/admin/*
用户接口设计: /qualitis/api/v1/projector/*
通过两种不同的接口定义方式,将用户的权限区分开。

4.2 外部接口
外部接口url定义:/qualitis/outer/api/v1/*
此类接口调用需要在query中增加如下参数:

参数名 必选 类型 说明
app_id 是 string 系统分配的授权应用APP_ID.
timestamp 是 string 时间戳。毫秒级的时间戳,时效性:7天
nonce 是 string 随机数,长度为5
signature 是 string 加密签名。md5(md5(appId + nonce + timestamp) + appToken),其中md5生成32长度,小写
其中app_id和appToken需要管理员授予外部系统。

五、系统工程结构设计
系统的工程结构可以分为2层,Web层和Core层。

Web层主要包括Controller和Service,主要包含对外提供服务的服务层,Core层主要包括核心代码逻辑和存储层。

以上是关于数据质量的主要内容,如果未能解决你的问题,请参考以下文章

数据质量包括啥方面

数据质量分析

数据质量分析的主要内容包括哪些

数据探索 —— 数据质量分析

数据治理:数据质量管理

大数据测试学习笔记之数据质量