数据资产顶层架构设计实践与思考

Posted 2021-04-11 数据工匠俱乐部

导读

数据被称为“未来新石油”，已经渗透到当今企业战略决策、生产经营和各业务职能发展领域，成为企业数字化转型的基础。本文以作者多年数据治理、数据资产规划项目实践为基础，从顶层架构的实施内容、步骤和方法、价值评估三个视角展开论述。在方法论层面介绍了从数据资产需求分析、顶层架构总体设计、应用场景验证开展数据资产顶层设计思路；在步骤和方法层面重点阐述二个核心话题，一是如何提升数据质量，二是构建数据资产目录的方法；在价值评估方面给把央企、集团企业数据治理过程中常见的主要问题进行了汇总和提炼。供大家赏鉴。

一

实施内容

企业需要持续深化数据治理管理工作，围绕数据价值发掘利用、数据质量提升以及管理落实过程中的难点痛点，特别是如何提升业务部门在数据管理中的参与程度，有必要建立完整的数据治理管理体系，梳理各业务部门在数据治理中的职责，对各类数据资产建立标准，统一数据资产管理流程，搭建数据资产管理平台，编制数据资产管理相关制度，建立数据资产管理组织，为企业数据质量的提升奠定基础，逐步建立良好的数据治理文化氛围，提高企业全员对于数据以及数据质量工作的重视程度，加强业务部门在数据管理过程中的参与程度，明确各部门在数据治理中的管理范围、管理职责，把数据治理的工作融入日常的工作过程中。

1、顶层架构规划与设计原则

（1）统一性原则。企业数据治理规划应遵循统一性原则，基于企业整体业务、信息化战略目标，统筹考虑企业整体信息化建设的其他部分内容，进行统一规划设计。

（2）实用性原则。以“贴合实际，需求导向”为根本，以业务运营和经营管理的实际情况为贴合点，以解决实际需求为导向，进行数据治理体系的规划、设计和建设，确保管理体系规划实用可行，为上层创新应用提供有力支撑。

（3）标准化原则。企业数据治理管理体系规划应遵循标准化原则，根据企业实际应用需求制定相关的体系建设标准、规范和指导文件；明确总体规划目标，统一规划思路，提供组织间交互公约，稳步推进体系建设分批分步实施。

（4）开放性原则。企业数据治理规划应遵循业界流行的开放标准，能够充分考虑未来应用发展的需要，使得数据治理体系在公司业务发展的过程中不需要推倒重新进行规划与设计，能够顺利、平稳地向更新的技术过渡。

（5）易推广性原则。企业数据治理体系规划应充分考虑企业各单位现有信息化基础，在保证先进性、实用性原则的基础上，遵循易推广性原则，尽量减少推广难度，并提供切实可行的推广策略和推广方法。

（6）安全性原则。企业数据治理规划应遵循安全性原则，符合公司信息化建设安全和等级保护的相关规范，通过技术手段保障数据信息的安全，提高数据安全风险识别、处理能力，增强防灾抗破坏能力。

2、顶层设计主要分为需求分析、顶层架构设计、应用场景验证三个大的阶段：

（1）调研与需求分析

①理论基础：国际DAMA、数据资产白皮书4.0、工业大数据白皮书、DCMM等；

②外部调研、对标：央企领先实践数据治理框架体系等；

③企业参考资料研读：包括企业“十四五”信息化发展规划、企业主要信息系统等；

（2）顶层架构总体设计

①顶层设计：包括数据战略规划、组织架构设计、数据架构设计；

②数据治理核心域：由数据标准、数据模型、数据治理、数据安全、指标数据、主数据六部分组成；

③保障措施：包括制度、流程、技术三部分；

④数据治理其他相关域：数据全生命周期、数据需求管理；

（3）应用场景、数据治理软件工具验证、数据资产工具验证

①数据治理工具验证：物料、设备主数据系统验证；

②数据资产工具验证：实现数据资产目录、数据资产地图。

图1数据治理顶层设计方法论

二

步骤和方法

1、借鉴DAMA数据管理知识体系设计理念

图2数据治理框架

通过引入DAMA数据管理知识体系设计理念，建立企业数据战略体系，包括数据治理、管理制度、管理服务统一在数据管理平台中，形成数据架构体系集中统一管理。通过技术基础和系统集成，能够与业务建立起整体上的逻辑映射关系，并通过规范的、可视的、易于理解的形式表达出来，对于后续的业务需求沟通和系统建设过程可以起到指导作用，指引公司数据资产管理落地实施。数据资产管理顶层设计过程是核心输出成果之一。

2、对企业系统调研与需求分析

通过对公司数据治理文档、数据、制度、流程、信息化系统运行记录等现状资料的收集和访谈，充分理解公司的战略、管控模式和各主要业务方向的业务战略，明晰企业发展战略对数据资产管理、数据治理、数据质量、数据运维、组织架构的需求。

理清企业对下属企业的管控模式，企业管什么？管多深？怎么管？如下图（所示）。

图3企业对下属企业的管控模式

在理解企业数据战略管理目标和要求的基础上，再通过调研与分析，全面了解企业的管理现状和业务现状，准确把握现阶段面临的问题与挑战，明确未来企业数据战略的需求和方向。

以能源化工生产类数据管理为例。我们首先要针对能源化工过程所需要的物料、介质、耗材，包括大量的实时数据、采集数据，各生产数据采集系统与总部集控系统汇总数据现状进行分析，发现存在的关键业务问题。

针对存在的问题提出改善建议、提炼数据资产管理需求，然后，再对企业的数据治理现状进行评估，分析数据现状与业务对信息支撑能力要求之间的差距，总结数据治理的关键改进方向。

接下来，从IT管控、IT基础设施、应用系统、数据信息管理等方面对IT现状展开评估，包括以下几个方面：

（1）企业现有信息技术的计划和在IT方面的历史投入，以及获得的成果；

（2）下属企业现有的信息技术应用及建设历史；

（3）分析企业数据资产分布、建设情况和投入历史；

（4）数据应用系统的主要执行标准；

（5）数据标准化、数据质量分析、安全性和共享能力；

（6）明确信息技术基础设施和对数据开发利用的需求情况；

（7）信息技术管理的组织结构、管理流程、信息技术服务范围和能力。

为确保数据治理规划的先进性，还将对先进企业的数据治理管理模式、信息化的发展趋势和领先实践进行研究，分析信息化建设的成功案例。

最后，总结企业数据战略、业务和管理现状以及现有信息化技术条件，结合IT发展趋势与最佳实践，提出企业数据治理架构和技术要求，提出实现数据战略落地实施的指导原则和总体的发展战略。

3、理清架顶层架构设计思路

数据战略体系核心在于有效解决对数据资产进行管理的实践性问题，既帮助企业合理评估、规范和治理企业信息资产，又可以挖掘和发挥数据资产价值、促进持续增值，并符合大数据的跨行业合作趋势（如图）。

图4数据资产管理体系架构设计

4、顶层架构设计突出重点和特色

对企业数据资产管理现状进行充分调研，并形成翔实、可靠的现状分析报告。根据企业行业特点与业务实际，聚焦数据资产管理，对公司数据资产管理开展顶层设计与体系规划，明确阶段目标与任务，有序推进，并形成公司数据资产管理的实施方案。

数据战略核心领域设计涵盖数据服务、主数据管理、元数据管理、数据质量管理、数据标准管理、数据安全管理的数据生命周期管理等内容；我们主要谈二个核心话题，一是如何提升数据质量，二是构建数据资产目录的方法。

（1）数据质量规则框架

数据质量规则是保障数据质量的基本标准，是进行数据质量校验、度量、考核等工作的前提条件。根据我们在各部门的调研情况，各部门对于数据质量规则的梳理范围还不完整，仅限于部分核心数据，存在较多的历史欠账，因而很有必要对数据质量规则的梳理进行规范化和模块化，数据质量规则框架（项目示例）如下表所示：

表1数据质量规则框架

序号	属性	属性说明
1	数据质量标准编号	数据质量标准的唯一编号。
2	数据标准标号	数据质量标对应的数据标准项的标准编号,应当存在于数据标准中。
3	数据标准名称	数据质量标准对应的数据标准项的标准中文名称,应当存在于数据标准中。
4	数据质量标准描述	从数据质量标准评估维度分类角度,根据评估指标,对数据质量标准的内容描述。
5	归口业务部门	数据质量标准的责任部门，负责指定、维护与解释。归口业务部门与人资部门保持一致。注：在本文档中制定的归口业务部门，以数据质量标准对应的数据标准信息项的归口业务部门为准。
6	业务分类	数据质量标准的业务分类，根据业务属性与特征进行归类。参照同行实践经验，数据质量标准中的业务分类共包含六个，分别是：人资域、财务域、物资域、基建域、生产域、营销域。
7	归属数据主题	数据质量标准衡量的数据对象对应数据域下划分的数据主题。与数据标准保持一致

上述数据质量规则框架中，第4项属性数据质量标准描述，应该从数据质量标准评估维度分类角度，从完整性、准确性、一致性、及时性和规范性五个维度，对数据质量标准的内容进行描述。

数据质量工作考核

数据质量考核是数据质量管理制度和数据质量标准能够实施落地的重要保障，因而需要定期评估各部门、各单位的数据质量管理水平，提升相关人员数据质量管理的意识，提升各部门的数据质量水平。

应从数据质量管理能力水平和数据质量健康水平两个维度进行考核，促进数据质量管理制度、标准执行落地。其中数据质量管理能力水平是从组织与推进、制度建设、工作流程三个方面进行评价，侧重于各部门、各级单位的日常工作和业务过程考核，属于定性评价指标，适用于数据治理办公室进行总体评价；数据质量健康水平侧重于各部门、各级单位的结果考核，属于定量考核指标，适用于各业务部门用于考核本部门数据质量的健康水平。数据质量考评机制（以往项目案例）如下所示：

图5数据质量考评机制

①考核评价要点

数据质量管理能力水平是从组织与推进、制度建设和工作流程三个细分维度，对数据认责情况、岗位落实情况、人员配合工作情况、管理制度编制情况、管理制度遵从程度、数据质量工作执行情况、数据质量分析情况、数据质量整改情况共8个方面，对各部门、各级单位的数据质量管理能力水平进行定性评价。

数据质量健康水平是从准确性、完整性、一致性、及时性、规范性等五个方面对基础类数据和分析类数据进行定量考核。

②考评措施

考评措施主要以数据质量通报（包括正常通报与问题专项通报）的形式予以落实，考核范围包括数据质量管理能力水平和数据质量健康水平两个维度涉及的10个方面。考核措施应与单位负责人的绩效考核挂钩，相关单位负责人是数据质量工作考核的第一责任人。

（2）数据资产目录编制方法

数据资产管理着力构建数据资产管理体系，通过数据资产管理可将数据规范管理和数据处理有机的融合，实现对具体资源数据的元数据描述，支持利用标准化的数据接口以及形式丰富图表展示工具快速定制各类数据资产应用，配合数据资产的全面评估，实现数据资产的“三全”管理：全生命周期管理、全流程管理、全景式管理。

根据企业数据资产现状调研，编制企业数据资产管理目录，进行数据分类，甄别基础数据，各部门共享数据类型，合理分类，通过资产目录，可查询、追溯、共享数据。

①数据资产目录两种编制方法

方式一：数据资产目录编制方法-系统视角

以企业目前核心系统为主，数据资产目录主主要参考系统功能模块进行划分，数据资产目录按系统数据主题、数据实体定义信息、数据实体分类信息、数据相关方信息、技术信息构建数据资产目录。

图6数据资产目录编制方法-系统视角

图7数据资产目录编制方法-系统视角（示例）

方式二、数据资产目录编制方法-主题域视角

数据资产目录，先构建全集团统一的数据域主题（通常可按照战略发展、业务运营、管理支持抽象一级主题域主题），把企业现有各系统按数据驱动方式，划分各数据主题域，之后在抽象数据实体定义信息、数据实体分类信息、数据相关方信息、技术信息构建数据资产目录。

图8数据资产目录编制方法-主题域视角

图9数据资产目录编制方法-主题域视角（示例）

三

价值评估

顶层架构规划与设计业内还没有成熟的价值评估方法。本文所涉及的评估方法，主要把央企、集团企业数据治理过程中常见的主要问题进行了汇总和提炼。

表2 顶层设计-数据治理域评估情况说明

核心域	评估问题描述
数据治理	数据管理工作相关的岗位、职责不清晰，数据管理组织结构有待完善。
数据治理	数据管理工作缺乏统一授权，各部门间责、权不清晰，跨部门间数据管理工作协调困难，存在相互推诿、相互冲突等情况，数据管理工作成效和业务价值难以体现。
数据治理	数据献礼工作缺乏公司层面的统筹管理，各部门分头开展数据管理工作，过于分散，无法开展统一的协同工作，难以形成合力；且很大程度上存在不少的重复工作，造成资源浪费。
数据治理	公司各部门都发布了与数据管理工作相关的制度，但尚未形成公司级数据管理制度体系；制度发布后，宣贯力度不强，且缺乏让制度得以落实的措施和手段。
数据治理	部门间数据管理工作的沟通渠道不通畅，工作流程不清，效率低下，数据管理工作难以得到支持、认可和落实。

表3 顶层设计-数据标准域评估情况说明

核心域	评估问题描述
数据标准管理	缺乏企业级的通用数据标准。跨专业数据标准不统一，同一业务对象在不同专业、不同系统的数据不衔接、不匹配。
数据标准管理	实物编码标准不统一，实物编码在全生命周期管理的各阶段形成项目编码、物料编码、设备编码、资产编码等信息，由于编码标准不一，导致资产信息难以关联匹配、跨专业数据共享应用困难等问题。
数据标准管理	主数据覆盖不足，应用不到位，目前公司主数据覆盖范围不全，设备等数据未纳入主数据管理；已确定的主数据未在各专业进行有效应用，不同系统分散存储甚至重复存储同一主数据情况仍然存在，部分主数据不一致、数据贯通困难。
数据标准管理	未构建企业级的业务术语极其变更与应用的管理流程、发布与检索平台，业务术语在不同的业务部门间存在不一致的情况，导致在不同业务部门间   接入数据时因理解不一致而出现数据接入的质量问题。
数据标准管理	没有清晰定义核心数据的权威来源，也未圈定核心数据的范围，一数多源现象较为普遍，无法保证一数一源，存在数据不一致的现象；
数据标准管理	部分数据标准没有明确的归口管理部门，未形成企业级的数据标准管理制度，无法知道数据标准工作的开展，推进各项数据标准的构建与管理；
数据标准管理	经营相关的分析指标分布在各业务支撑系统中，未明确归口管理部门，无法形成统一的指标管理体系，无法规避指标的重复建设带来的指标冗余与资源浪费、难以消除同名异义、同义异名指标给工作带来的影响与困惑。

表4 顶层设计-数据质量域评估情况说明

核心域	评估问题描述
数据质量管理	目前形成有效的数据质量管控体系，无法指导各部门开展数据质量工作；
数据质量管理	数据中心仅在数据接入及时性方面开展了数据质量的监控工作，对业务间数据的一致性、完整性还未开展相应的质量监测工作，无法识别业务间数据的一致性问题，为跨业务域的数据分析埋下数据质量的隐患
数据质量管理	缺少统一的数据质量工具支撑，各业务部门在数据质量管理工作中没有统一的数据质量工具可使用，数据质量管理分散，不利于形成统一的数据质量管理习惯与数据质量支持库的沉淀
数据质量管理	数据质量共走偏重于对于数据生成后的清洗与效验，缺乏数据生成过程中的业务规则验证，导致数据在源头就产生了质量问题

表5顶层设计-数据安全域评估情况说明

核心域	评估问题描述
数据安全管理	数据安全相关的制度条款以点状方式分布在信息安全管理办法中，未形成统一的、企业级的数据安全管理办法，无法统一指导开展数据安全相关的工作；
数据安全管理	没有明确数据安全等级划分，业务部门无法确定对外共享的数据范围，数据需求分析方无法获取分析所需数据的支撑，影响跨业务数据分析工作的开展；
数据安全管理	未识别敏感数据的范围及其企业内的分布情况、对敏感数据的变更以及流转缺少监控能力，无法及时发现敏感数据变更与共享对企业带来的潜在危险
数据安全管理	对外报送数据缺少明确企业级的数据安全的管理要求，可能导致潜在的数据安全风险

表6 顶层设计-数据架构域评估情况说明

核心域	评估问题描述
数据架构	公司对企业模型应用的力度有待提升。目前人才储备比较单薄，难以支撑数据模型有效落实实施；
数据架构	数据中心仍然以源业务系统为条块进行数据存储，并未在企业级数据模型的指导对接入的各业务系统数据按照主题域进行整合，不利于数据资产的开发和利用；
数据架构	当前尚没有公司级的、统一的数据资产目录，各部门无法准确掌握当前数据资产的现状；
数据架构	各业务部门之间以点对点的方式进行数据共享，存在多头取数问题，没有充分利用当前数据中心的数据资源和应用成果。
数据架构	公司对数据与流程、岗位、系统间的分布关系有待建立，需要进一步完善数据流转、交互与集成的关系，并加强数据分布的集中维护、定期更新、策略备份等管理工作。
数据架构	目前公司数据集成共享缺乏统一的管理，数据源计入不受控，无法获得数据集成关系，造成数量重复、资源浪费。
数据架构	元数据管理分散在各个业务系统数据模型中，缺少公司级统筹管理，需要针对元数据创建、存储、整合、控制提供完整的支撑和管理。

结束语

数据资产顶层架构设计不仅仅是企业领导“一把手”工程，更是企业各级领导重点工程和系统工程，各级领导应对顶层设计项目高度重视，进而确保顶层设计能够顺利推行和落地。本文从做好数据调研需求分析、顶层架构总体设计、应用场景验证三大阶段提供为读者提供一个整体的视角和方法论，可为企业编制顶层设计提供方法论层面的指导和实践。

(欢迎大家加入数据工匠知识星球获取更多资讯。)

联系我们

微信：DaasCai

邮箱：[e-mail]

QQ：3365722008

热门文章

我们的使命：发展数据治理行业、普及数据治理知识、改变企业数据管理现状、提高企业数据质量、推动企业走进大数据时代。

我们的愿景：打造数据治理专家、数据治理平台、数据治理生态圈。

我们的价值观：凝聚行业力量、打造数据治理全链条平台、改变数据治理生态圈。

了解更多精彩内容

数据工匠俱乐部

专注数据治理，推动大数据发展。