数据标准：数聚股份之数据标准管理

Posted 2022-08-17 YoungerChina

1. 定义和目标

        数据标准（Data Standard）定义是指保障数据定义和使用的一致性、准确性和完整性的规范性约束。

        对于企业而言，数据标准是对数据的命名、数据类型、长度、业务含义、业务规则，计算口径、归属部门等，定义一套统一的标准规范，以此来保证各业务系统对数据的统一理解、规范、对数据定义和使用的一致性。

        数据标准管理的目标是通过统一的数据标准制定和发布，结合制度约束、系统控制等手段，实现平台数据的完整性、有效性、一致性、规范性，推动数据的共享开放，构建统一的数据治理清单，为数据治理活动提供参考依据。

2. 数据标准分类

        数据标准可从三个角度来进行分类：技术属性、业务属性、管理属性。

        1）技术属性分类：

结构化的数据标准主要是针对结构化的数据来制定的标准，一般包括：数据类型、长度、定义、值域，数据格式等，非结构化数据标准是针对非结构化的数据来制定的标准一般包括：文件名称、文件大小，格式、分辨率等，此类信息均称为技术属性。

        2）业务属性分类：

业务属性标准是指为实现业务沟通而制定的标准，通常包括：业务定义和管理部门，业务主题等

        3）管理属性分类：

管理属性一般包括数据定义者、数据管理者等。

3. 企业数据建设现状

        国外数据标准化工作起步较早，不少国际大型企业已将数据当作企业的重要资产来对待，其中大部分企业均以数据标准为核心，确保数据标准能够融入企业的每个业务环节中。

        但国内企业大多数系统的建设都是直接依据业务需求建立，并没有一个整体的规划，另外不同系统的建设厂商可能也不一样，所以不同系统之间数据的不一致性难以避免，究其根源，还是没有一套统一的数据标准来进行约束。

        企业在对数据的使用过程中，出现的很多数据问题，都是由于缺乏标准约束和整体规划设计造成的，如下：

• 数据存储结构不一致，调用多系统的数据时，由于某些数据在不同系统中数据存储结构不同，导致数据无法直接关联，影响不同系统之间的数据共享。
• 数据定义不一致，不同系统对数据的命名、业务含义、取值范围等定义不同，比如同名不同义、同义不同名等
• 数据理解不一致，不同人员对数据的理解不一致，导致在数据使用时浪费很多沟通时间。
• 数据来源不一致，数据存在多个来源，在数据使用时，不清楚应该取哪个系统的数据。

        通过数据标准的建设，可消除数据跨系统的非一致性，从根源上解决数据定义和使用的不一致问题，为企业数据建设带来诸多好处：

        数据标准的统一制定与管理，可保证数据定义和使用的一致性，促进企业级单一数据视图的形成，促进信息资源共享。

        通过评估已有系统标准建设情况，可及时发现现有系统标准问题，支撑系统改造，减少数据转换，促进系统集成，提高数据质量。

        数据标准可作为新建系统参考依据，为企业系统建设整体规划设计打好基础，减少系统建设工作量，保障新建系统完全符合标准。

        同时，数据标准建设也为企业各类人员提供相应的支撑：

• 对业务人员而言，数据标准建设可提升业务规范性，保障人员对数据业务含义理解一致，支撑业务数据分析挖掘以及信息共享；
• 对技术人员而言，有数据标准作为支撑，可提升系统实施工作效率，保障系统建设符合规范，同时降低出错几率，提升数据质量；
• 对管理人员而言，数据标准建设可提供更加完整、准确的数据，更好的支撑经营决策、精细化管理

4. 建设数据标准的方法步骤

        首先数据标准建设前提需要有设立相应的数据标准管理组织，负责数据标准的统一管理、数据标准的制定、维护、应用和监督等工作。数据标准管理组织建议包括：数据标准决策层、数据标准管理部门和数据标准工作执行组。

        其次数据标准管理工作的实施展开也需要一系列的数据标准管理规范制度，其中包括：数据标准规范制度、数据标准管理办法制度、数据标准管理工作执行制定等等。

        有了相应的数据标准管理组织和规范制度作为保障，即可推动数据管理的实施工作。数据标准建设的实施步骤如下：

步骤一：标准统一规划

        在实际情况的基础之上，参考业界经验，收集调研国家标准、现行标准、新系统需求标准以及行业通行标准等，梳理出企业内部数据标准建设的整体范围，定义数据标准体系框架和分类，并制定数据标准的实施计划。

步骤二：标准梳理编制

        依据数据标准体系框架和分类原则，依次制定各分类的数据标准模板，然后由相关管理部门依据相关国标、行标、或者企业内部的技术业务需求等调研结果，进行数据标准的编制，形成企业内数据标准初稿。

步骤三：标准评审发布

        标准梳理编制完成后，通过对数据标准进行评审来保证数据标准的完整、规范，在充分征求专家意见以及各相关组织部门意见后，对数据标准进行修订和完善。完善后的数据标准经过有关管理部门的审批通过后，即可发布形成正式的数据标准。

步骤四：标准贯标落地

        确定数据标准落地策略和落地范围，并制定相应的落地实施方案，以此来推动数据标准落地方案的执行，并对标准落地情况进行跟踪并评估成效。

步骤五：标准维护

        数据标准在实际的场景中会随着业务的发展变化、行标国标的变化、以及监管政策的变化需要不断迭代和完善。在数据标准维护流程阶段，需要对标准变更迭代建立相应的管理流程，同时做好数据标准的版本管理

在数据标准建设过程中，需重点关注几个关键点：

1、标准范围界限

        首先不是所有的数据都需要建立数据标准，在企业的实际业务数据模型中成千上万个字段属性，有些数据模型因为业务变化需经常更换调整，如果把这些业务过程信息全部纳入到标准的建设体系中，反而会加大建设标准体系的难度，比较难以实现落地。因此我们需要对核心数据建立标准并实施落地，定期执行贯标落标，既可达到预期效果，与此同时也提升了数据治理的工作效率。

2、数据标准落标

        数据标准落地的实施工作中，可想而知会遇到很多困难，如某些历史的业务系统因特殊业务无法进行改造或者改造成本投入过大，因此导致无法落标。面对此类情况需要我们针对不同的业务系统，建立不同的落标实施策略。

       对于建设系统，可以采用强制落标的方法，即建设系统必须符合统一数据标准，在新系统上线前期对其进行数据标准落地评估，如评估结果与标准规范不一致或出入较大造成不合格，则需要规范其按照统一规范标准来整改优化。

        对于已有的历史系统，采用建议落标的策略，首先将已有系统的标准问题找出来，并进行分析和整理，综合多方面考虑，包括工作量、整改风险、周期、成本等等，制定最有效的落标策略，比如等到以后系统升级改造时再落标，通过逻辑转换方式落标，通过数据仓库落标等等。

3、产品工具选型

        数据标准建设工作量以及范围比价大而广，想完全依靠人力来实现不太现实，所以需要依托于一套完善、易用的数据标准管理产品工具作为载体来帮助我们将数据标准建设工作有条不紊的落地。

        数据标准管理功能包括：标准的分类管理、标准的增删改查、标准的评审、标准的发布、标准版本的管理、标准落地映射管理、标准落地评估报告、标准的变化监控等功能。为更好的保障数据标准的落地，可以结合元数据管理功能一起使用。

        于此同时数聚股份的数聚治理产品已经实现了一整套的数据标准管理流程及实施办法，在产品平台中通过统一的数据标准制定和发布，结合规范制度约束、系统控制等方式策略，帮助企业实现大数据平台数据的完整性、有效性、一致性、连续性，规范性、开放性和共享性管理，达到真正意义上的数据标准统一。

5. 结语

        数据标准管理为数据治理工作中的管理人员提供集中管理、展示和查询数据标准的综合性管理帮助。数据治理工作中对于数据标准管理的建设，须符合数据标准管理的相关标准方法，并落实数据标准管理相关人员的职责，同时也需要固化数据标准管理的流程规范。这些作为是企业数据标准制定、发布、管理、查询、执行的系统载体。数据标准管理提供保存和处理数据标准内容，提供统一的数据标准管理与标准执行分析功能，为日后的企业各系统的数据标准化工作打下坚实基础。

6. 参考资料

[01]https://www.jianshu.com/p/9b4666d9ce34