数据治理：数据质量管理办法

Posted 2022-06-16 浊酒南街

目录

• 1 范围
• 2 术语和定义
• 3 数据质量管理内容与评价原则
• • 3.1管理目标与内容
  • 3.2 数据质量评价原则
• 4 相关部门职责
• 5 数据质量管理工作流程
• 6 数据管理管理活动

1 范围

本标准规定了XX公司数据质量管理内容、管理机制和工作流程。本标准适用于XX所有项目整个生命周期的数据质量管理，非项目可参照使用。

2 术语和定义

下列术语和定义适用于本文件

数据质量data quality
客观反映业务数据固有特性的程度。
注：“固有的” (其反义是“赋予的”)就是指在某事或某物中本来就有的，尤其是永久的特性。

数据质量管理 data quality management
对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、监控、预警、处理等一系列管理活动，并通过改善和提高管理水平使得数据质量获得进一步提高。

技术评估 technology assessment
科技主管部门对已审批的业务需求，组织相关部门和人员进行技术可行性评估，并作出评估结论的活动。

数据质量监控 data quality control
获取业务各环节的数据质量信息，结合有关检查规则和采集规则，对数据质量情况进行诊断，并及时向数据质量管理实施部门报告的活动。

数据质量评估 data quality assessment
由数据质量管理实施部门根据需要发起，得到评估结果并作为依据评估指标和评估方法进行评价，数据质量改进的参考和依据。

数据质量报告 data quality report
对数据质量日常监控以及质量评估等过程累积的各种信息进行汇总、梳理、统计和分析，形成统计报告的过程。

数据质量知识 data quality knowledge
在数据质量管理活动中获取的有关数据质量问题处理的经验和成果。

3 数据质量管理内容与评价原则

3.1管理目标与内容

数据质量管理目标
数据质量分为绝对质量和过程质量，绝对质量是指业务数据的真实性、完备性和自洽性，过程质量指业务数据的使用质量、存储质量和传输质量。数据质量管理目标包括：

a)建立稳定运行的数据质量测控体系，及时发现并改正数据质量问题；
b)建立可靠的数据质量评估流程，判断改进趋势,衡量数据质量改进效果；
c)建立一套改进、提升数据质量的管理机制。

数据质量管理内容
数据质量管理内容包括：
a)制定、修订数据质量管理遵循的标准；
b)确立、修订数据质量管理工作流程、优化部门协同机制；
c)制定数据质量管理决策机制；
d)监督日常数据质量管理的有序进行；
e)数据质量的核查。

数据质量影响要素
数据质量影响要素包括：
a)信息类要素：由于对数据本身的描述、理解及其度量标准偏差而造成数据质量问题的影响要素；
b)技术类要素：由于具体数据处理的各技术环节异常而造成数据质量问题的影响要素，技术实现上的某种缺陷是其产生的主要原因；
c)流程类要素：由于系统作业流程和人工操作流程设置不当造成数据质量问题的影响要素；
d)管理类要素：指由于人员素质及管理机制方面的原因造成数据质量问题的影响要素。

3.2 数据质量评价原则

数据质量评价原则包括：
a)完整性：数据是充分的，任何有关操作的数据都没有被遗漏。主要包括实体不缺失、属性不缺失、记录不缺失和字段值不缺失；
b)唯一性：数据值被约束成一组独特的条目，每个值都是唯一的。主要包括主键唯一和候选键唯一；
c)准确性 ：数据必须真实准确的反映实际发生的业务；
d)精确性：计量误差、度量单位等方面的精确度应符合业务需求；
e)一致性：描述数据结构、数据值和他们的相互关系符合逻辑规则的程度。如统一数据来源、统一存储和统一数据口径；
f)及时性：数据更新、修改和提取等的快速性程度，应符合业务需求；
g)合规性：数据格式、类型、域值和业务规则的有效性。

4 相关部门职责

4.1概述
相关部门包括以下部门：业务主管部门、技术主管部门、技术承办单位和数据质量管理实施部门。

4.2业务主管部门职责
主要职责包括：
a)对于拟开发的应用项目，对相关业务提出数据质量约束性需求；
b)对于在开发的应用项目，从业务角度提供数据质量检测方法和验收标准；
c)对于已运行的应用项目，根据应用状况提出数据质量问题和改进建议；
d)受理与本部门业务相关的数据质量管理协同通告，并作出处理反馈。

4.3技术主管部门职责

技术主管部门是数据质量的主管部门，主要职责包括：
a)组织制定、颁布数据质量管理、保障、控制和维护流程；
b)组织制定、颁布数据质量管理和技术相关标准；
c)监督数据质量问题处理的整个流程并对数据质量的监控结果进行评估；
d)组织、协调相关部门，解决数据质量管理活动中的异常问题；
e)受理、审批数据质量需求变更；
f)针对已处理的数据质量问题发起处理效能评估；
g)数据质量管理其他有关事项。

4.3技术承办单位职责

主要职责包括：
a)协助数据质量管理实施部门解决业务应用系统数据质量问题；
b)协助业务主管部门提出数据质量管理的业务需求；
c)协助数据质量管理实施部门处理数据质量需求变更评估。

4.4数据质量管理实施部门职责

受技术主管部门委托，负责数据质量管理的具体实施。主要职责包括：
a)监控数据质量问题；
b)提出数据质量问题改进建议；
c)依据数据质量管理处理流程，负责数据质量管理系统运维；
d)处理数据质量监控系统告警，并向相关部门通告数据质量问题；
e)经主管部门授权后，负责组织解决相关的数据质量问题；
f)组织处理数据质量需求变更的评估；
g)形成报告并报技术主管部门；
h)协助业务主管部门提出数据质量管理的业务需求。

5 数据质量管理工作流程

工作流程图，数据质量管理流程工作流程见图 1。

图 1：数据质量管理流程工作流程
注：图中虚线表示为可选流程。

关键环节说明

业务需求提出

业务主管部门依据业务工作的实际情况，向技术主管部门提出相关业务系统的业务需求。需求提出过程中，技术承办部门和数据管理实施部门应协助业务主管部门，就特定业务应用系统，归纳并提出业务需求。

业务需求审批

技术主管部门在受理业务主管部门提交的业务需要后，应对业务需求在规定时限内进行审批，并将审批意见告知业务需求提出部门。

技术评估

对于审批通过的业务需求，数据质量管理实施部门应在规定时限内，组织相关部门和人员，对业务需求进行技术评估，并给出评估结论。
技术承办单位，应协助科技主管部门开展业务需求的技术评估。

系统设计开发

技术承办单位对已完成技术评估的业务需求，应依据业务需求组织并实施应用系统的设计与开发。

测试验收

对于技术承办单位已完成开发的应用系统，其业务主管部门应在规定时限内组织测试与验收。
技术承办单位和数据质量管理实施部门应协助业务主管部门，完成测试与验收。

系统上线运维

对业务主管部门已验收的应用系统，数据质量管理实施部门应组织实施应用系统的上线和日常运维工作。
技术承办单位应协助、配合数据质量管理实施部门开展应用系统的上线工作。

数据质量监控

对已上线的应用系统，数据质量管理实施部门应利用数据质量管理系统，开展数据质量监控，并定期提供数据质量监控报告。

告警分析与问题通告

在数据质量监控过程中产生的告警信息，数据质量管理实施部门应在规定的时限内开展告警信息分析，并对告警产生的原因作出判定。
对于一般性告警信息，数据质量管理实施部门可直接按照操作规程给予处理，如：系统断电等原因产生的告警；对于严重告警信息，应将告警产生的问题通告技术主管部门和相关业务部门。
注：一般性告警是指系统运行环境异常或操作失误等导致的、具有偶发性、在短期内恢复且不产生严重后果的数据质量监控告警。

问题处理授权

技术主管部门在受理数据质量管理实施部门通告的数据质量问题后，应组织协调问题所涉及的相关部门，协同确认并授权数据质量管理实施部门解决问题。

问题解决

数据质量管理实施部门在获得授权后，应组织开展解决问题的工作并予以完成。
技术承办单位应协助数据质量管理实施部门解决问题的工作。

处理结果确认

对已处理的数据质量问题，数据质量管理实施部门应将问题处理结果在规定时限内通告技术主管部门、业务主管部门和技术承办单位。

处理结果反馈

各相关部门收到数据质量问题处理结果后，应在规定时限内对问题处理结果给予确认，并将确认结果和建议反馈数据质量管理实施部门和其他相关部门。

数据质量管理报告

数据质量管理实施部门应定期编写数据质量监控报告，归档备查。
数据质量问题处理解决后应编写数据质量问题分析报告，报送相关部门。
对数据质量监控报告和问题分析报告进行总结，编写数据质量定期总结报告，报送相关部门。

6 数据管理管理活动

数据质量管理活动主要如下：

数据资源变更管理

数据资源变更会引起系统内部和系统外部的数据质量问题。数据资源变更管理主要是利用元数据管理的分析功能对系统变更信息进行影响评估，并将变更信息及时告知数据质量管理相关部门，协同各部门完成数据资源变更处理工作，避免变更引起的数据质量问题。

数据质量监控

数据质量管理业务应在HG业务系统数据处理相关环节采集数据，供数据质量监控分析使用并存档。

数据质量分析

根据监控数据对象性质的不同，采用多种定性或定量预警分析方法进行数据质量评价。

告警管理

根据告警所反映的数据质量现象的严重程度、影响范围，设定严重性程度不同的告警级别。每一级别告警信息的发送都应具备多种送达手段。从数据采集、预警分析到告警生成，每个阶段都需进行程序化管理。

数据质量问题处理

指对数据质量管理中产生的各类问题进行分析，并根据分析结果，方法进行处理，选择适当的方式、并根据处理效果归纳总结的处理过程。关键环节包括：问题发现、问题分析、问题通告、问题解决指派、问题处理方法设计、审评、实施和问题总结。

数据质量评估

指利用各种评估方法（如：直接评估法和间接评估法），根据数据质量问题影响程度的不同，以评估报告等形式，对数据质量的给以评价和改进建议。

数据质量报告

数据质量报告是对数据资源变更管理、数据监控、数据质量分析、问题处理以及数据质量评估等过程积累的各种信息进行汇总、梳理、统计和分析，形成统计报告的过程。数据质量报告的发布具有一定的时效性。用户应在所赋权限范围内查看质量报告，防止信息泄露。数据质量报告的归档要求将相关报告按照分类,作为后续数据质量问题处理和分析的参照。

数据质量知识管理

历史数据质量知识的积累为数据质量问题的解决提供参考方法。数据质量知识主要来源于对数据质量问题的记录与总结，以及对问题解决过程自身的知识评价。数据质量知识的产生与利用过程是一个互相促进改良的过程，为数据质量管理的其他活动提供重要的支撑。