MDM数据巡检设计方案

Posted 2022-02-05 数通畅联

科技飞速发展的时代，企业信息化建设日趋完善化、体系化，使用的应用系统越来越多，业务发展中沉淀了大量的数据，但是这些数据没有为企业带来直观的价值，没有形成企业的数据资产。因此越来越多的企业进入到了数据治理阶段，对于主数据治理的需求日益强烈。

MDM基础数据平台进行清洗和治理企业的主数据，使企业的主数据具有唯一性、准确性、一致性、及时性，其中唯一性就要通过MDM数据巡检功能进行查重处理，提升主数据质量，保证下发给业务系统的数据是唯一准确的。 

1整体介绍 

主数据治理方案可以统一管理企业的组织、人员、客户、供应商等高度共享数据，对需要的业务系统进行同步分发，使数据易采集、易理解、易分析，提高部门与部门之间的沟通效率。 

1.1产品体系 

首先介绍数通畅联的产品体系： 

数通畅联的所有产品都是通过K8S云平台进行部署搭建产品环境，通过不同的产品组合方案来解决企业面临的不同信息化困境，帮助企业完善信息化发展。MDM主数据管理平台是公司产品体系中的配置功能明星产品，主数管理平台可以与不同产品组合来满足不同的项目的需求。 

1.2产品介绍 

MDM主数据管理平台中，主数据管理的关键就是“管理”。主数据管理不会创建新的数据或新的数据纵向结构。相反，它提供了一种方法，使企业能够有效地管理存储在分布系统中的数据。 

主数据管理使用现有的系统，它从这些系统中获取最新信息，并提供了先进的技术和流程，用于自动、准确、及时地分发和分析整个企业中的数据，并对数据进行验证。 

MDM产品的核心在中间的紫色区域，分别是数据建模，功能建模，流程建模，应用管理，使用这些功能能够自动生成出不同的主数据管理流程，从而进行数据治理。数据统计是绿色区域中的数据管理、流程监控、统计分析功能。此外，管理看板也能够进行统计分析。 

MDM在系统管理中进行添加组织，人员，岗位，并可以配置相应的权限。 

1.3功能介绍 

目前MDM中相似度巡检运算方式是根据多个字段的组合通过相似算法算出他们的相似百分比，然后查看是否超过配置的百分比数字，如果超过就判定为相似数据，然后记录到数据表中，还需添加新的质量校验算法，通过结果值*不同字段的阀值再除以阀值的相加和得出的数字进行数据巡检，巡检支持结果Excel输出，帮助客户提升主数据质量。 

2实现思路 

数据巡检主要是对某个主数据进行查重，通过主数据数据巡检配置功能，配置数据巡检任务，通过任务执行或者在业务操作过程中进行数据查重操作，帮助业务人员和审计人员快速处理重复的数据。 

2.1整体思路 

数据巡检分为三部分： 

1.第一部分是任务配置功能：通过监控预警功能的数据巡检任务配置出要巡检的主数据、定时时间、巡检类型。 

2.第二部分是任务执行：执行任务功能可以在单独的数据巡检任务功能中点击执行巡检，也可以点击扩展按钮在业务表单中执行。 

3.第三部分是结果报告：结果报告就是把重复的数据以日志的形式展现出来，也可以导出报表数据。 

2.2配置功能 

数据巡检一共两种算法可以进行数据巡检： 

1.第一种是完善现有的相似度功能： 

(1)现有是通过几个字段进行对比将得出的百分比记录到数据库中。 

(2)在相似数据中能够查看到对比数据的结果。 

2.第二种是支持单字段相似度后全中校验： 

(1)在配置功能中配置每个字段的数值。 

(2)根据每个字段对出来的值和配置数进行运算。 

(3)运算方式为：

2.3数据巡检 

通过上述的配置运算方式进行数据查重，查重后把超过阀值的数据写到对应主数据的数据巡检表中，数据巡检结果功能要符合以下要求： 

1.支持按钮扩展配置进行数据校验（编辑页面、审批页面、日志等均可添加）。 

2.支持日志查询，可以查询到对应重复的数据。 

3.支持导出巡检报表Excel。 

3扩展设计 

通过上述的思路设计出巡检配置页面功能、巡检任务页面功能、巡检结果页面功能。 

3.1巡检配置 

下面是几个字段的相似度巡检运算规则的配置方式，选中是否启用单字段全中模型，效果如下：

选中是否启用单字段全中模型。 

1.点击添加一个字段，并且配置这个字段的相似度数值。 

2.配置定时巡检时间和时间间隔。 

页面效果如下： 

3.2巡检任务 

数据巡检任务功能：选择一个主数据，点击巡检就会执行针对这个主数据巡检任务。 

可以通过扩展字段方式在数据管理页面中添加数据查重按钮：点击执行这个主数据巡检任务，查询到对应的重复数据。 

3.3巡检结果 

执行后点击一条数据进入详情页面会查看到这条数据对应的相似数据数量，点击后会跳转打开数据巡检具体页面，如图所示： 

数据巡检日志页面如图所示： 

点击导出按钮会导出对应数据Excel报表，如图所示： 

源数据： 

超过阀值的数据： 

4心得总结 

平台是主数据治理方案落地的重要工具，平台在功能上满足主数据治理需求的同时，具备快速扩展能力，以适应不同业务场景的变化。并根据技术的发展及业务的演变，不断迭代升级。通常选择的主数据管理平台要预置典型的模型功能和样例数据，在项目中复用这些数据可以节省时间。 

4.1开发心得 

通过本次开发大家应该了解数据巡检的作用，通过数据巡检功能提升主数据质量，统一主数据标准，也是对主数据数据清洗功能的一次完善，因为数据巡检功能是业务类主数据清洗的一部分，开发时候要考虑产品功能的闭环，只有这样才能让产品的功能更加完整。 

4.2设计作用 

通过功能设计可以消除客户对于需求的模糊性，同时核对需求是否有需要完善的地方，设计过程中还可以发现哪些要求是由于用户的片面性或短期行为所导致的不合理要求，再进行功能开发工作，就能避免在开发过程中重复交互，导致做无用功，所以设计是非常重要的一个阶段，重视设计才能更加有效地进行功能开发，才能交付好的产品。 

4.3产品发展 

产品要从功能性、易用性、开发性、扩展性、高性能、稳定性、美观性不同角度进行扩展迭代，做到到项目中去，再从项目中来，通过客户的需求筛选出产品需要的功能，进而进行产品升级，增强产品的功能性。通过不同项目深度了解行业，通过预制样例实现不同产品组合快速搭建，让项目推进更加敏捷。 

产品不管怎么发展都是一个目的，即是否能解决企业每个阶段面临的困境，促进企业的信息化发展，只有这样才能体现出产品的价值。一款好且稳定的产品可以帮助工作人员快速而便捷地工作，大大提高工作效率，也会让客户满意，增加客户对公司的信任度。