制造行业主数据同步集成

Posted 2021-06-17 数通畅联

主数据是描述企业核心业务实体的数据，是企业核心业务的主要构成，各个订单、合同以及业务的主体，在企业内部被重复、共享应用的数据，主数据跨越企业各个业务部门以及各类业务系统，是应用系统间数据交互的基础。

近期一直北方某制造业进行主数据治理工作，谈到制造行业主数据除了基础的组织、人员、岗位、客商外，总是离不开物料、BOM以及物料分组，其中生产类的主数据是数据治理的核心内容，也是重点内容，经过对生产类数据长期的调研以及学习理解，自己对生产主数据有了一定了解，本文以物料分组主数据为例对某类主数据的模型创建到同步的标准过程进行梳理。

1总体说明

主数据治理项目前期主要根据企业的特点对企业的集成架构、数据架构、系统架构、功能架构以及核心业务进行调研，在这其中对企业的整体架构以及项目的相关方进行了解，从而分析出企业现有的主数据类型等，现从主数据治理项目的业务架构、集成架构、数据架构等方面总结如下。

1.1业务说明

本文以制造业特有主数据物料或物料分组为例对其整体业务进行说明：

1.生产层：物料主数据源头系统为PLM系统，其主要作用是实现产品全生命周期的数据管理，管理产品相关的全部数据包括组成零件、设计图纸、工程图纸、工艺文件、产品文件、材料等，物料主数据在其中实际上为零件的核心组成部分，对企业内部的原材料、制造零件、外购件、标准件等进行数据层面的统一管理。

2.中间层：通过上文可知PLM系统为物料的主要源头，而ERP系统、MES系统均需要物料的数据，而主数据的核心功能便是对企业内部基础数据进行管理，保证源头系统及下游系统数据的一致性、完整性，中间层就是通过多维度建模实现对基础数据的全方位管控。

3.消费层：数据的生产层更多的是对数据层面的管理，而消费层则是通过中间层主数据分发过来的数据进行企业业务的管理，依旧以物料为例，包括物料的采购、库存、生产等业务的使用。

物料主数据通过主数据的数据统一同步、清洗、管理、分发，保证企业内部的的一致性、共享性及完整性，实现企业内部数据的单一视图。

1.2数据架构

主数据治理项目整体数据架构从各个应用系统获取数据信息，在主数据管理平台对元数据信息进行统一管理，具体包括元数据信息得采集、定义、变更等，在数据分析时可以根据元数据信息进行数据血缘分析、影响分析等，基于元数据进行主数据建模部署过后实现基础数据信息得管理，保证全集团公司数据具有高度共享性、一致性、完整性、高数据维度统一。

数据架构图如下：

 

如数据架构图所示，是从数据源头系统获取组织、人员、岗位、客户、供应商等基础数据信息，通过ESB企业服务总线将数据同步至MDM主数据管理平台中，在主数据管理平台进行数据模型的创建、数据编码的定制以及数据质量的管理等等，最后将干净的数据分发至需要的各业务系统中。

1.3集成架构

主数据治理项目是将企业的主数据，如组织、人员、岗位、客户、供应商、产品、项目等数据信息进行共享，提高数据特征的一致性、识别唯一性、高度共享性及长期有效性，从而获得“单一的基础数据来源”，避免提供的数据有误，造成大量定制视图或者统计报表计算逻辑错误，导致流程监控出错等一系列问题，为企业运营管理过程中深度应用集成、业务流程再造、业务升级创新提供准确的数据支撑。

基础数据治理方案集成架构图如下：

 

ESB企业服务总线主要作为数据交换平台，支持应用间批量数据交换和数据库间的数据交互，包括数据的抽取、转换和导入操作。不需要向不同的业务系统请求主数据的获取、同步，只需要通过ESB进行数据分发、下发等操作即可获取这些数据，帮助企业数据整合或数据中心建设。

2主数据管理

在MDM主数据管理平台实现对物料分组主数据的管理首先需要调研该类主数据的源头系统，接下来输出调研结果《物料分组元数据及参考数据调研清单》。之后根据元数据调研清单进行数据模型及功能模型的创建，实现对物料分组主数据的管理维护。

2.1字段调研

在字段调研之前首先需要了解企业各类业务系统，与客户沟通明确物料分组主数据源头，接下在对应业务系统中对物料三级分类数据全生命周期进行了解，明确源系统物料分组的数据状态、数据是否存在版本、物料分组字段信息及枚举类数据信息等，最终经过调研输出《物料分组元数据及参考数据信息》。

元数据字段信息如下：

 

参考数据字段信息如下：

 

2.2数据建模

根据元数据及参考数据调研结果在MDM主数据管理平台创建数据模型，数据模型分为数据建模、功能建模以及流程建模。在数据建模创建物料分组主数据。

 

接下来配置对应元数据字段信息。

 

在数据建模时需要注意要预留源系统主键ID、父节点ID、父编码信息字段，为后续企业做数据分析做准备，同时也要余留冗余字段，防止源业务系统增加字段，接下来保存并生成表结构直接提交至功能建模即可。

 

2.3功能建模

在功能建模主要是对物料分组管理维护页面进行配置，包括字段widget组件定义等。

 

接下来切换到表单信息页面，初始化表单，调整管理维护页面（列表页面、表单页面）。

 

对表单查询条件或者列表显示字段进行调整。

 

调整过后解析SQL，完成配置。

 

部署之后可以在MDM平台查看部署效果。

2.4效果展示

物料分组主数据列表页面：

 

列表页面展示：

 

3主数据集成

ESB企业服务总线应用集成部分首先需要将各个业务系统提供的服务在ESB企业服务总线注册，之后配置接口的入参及出参信息，在场景配置模块进行对接，定义触发机制及预警机制等。

3.1服务注册

主数据治理项目按照主数据类别可分为组织人事类、客商类、制造类、地产类、财务类、知识类等等，在服务分组内定义分组模块。

 

接下来在对应分组下将各个业务系统提供的服务进行注册。

 

并且配置来源系统及目标系统接口的入参及出参。

 

3.2集成配置

单据对接实际上是在原有服务注册的基础上进行集成场景的配置，选择单据的源头系统及目标系统，且配置源数据提供服务及目标数据接收服务，其触发机制有三种方案，首先是“推”的方案，在其它业务系统数据发布确认时绑定接口，接口获取表单全部数据，将完整的表单数据传给数据同步接口。其次是“推拉”的方式，依旧是在业务系统数据发布或者变更时由业务推给同步流程一个编码，在流程内在通过编码对业务系统数据进行发查。如果业务系统无法进行二开，就需要由ESB拉取数据，也是“拉”的方式，在调研时需要和业务系统厂商将对接方案确定。“推”、“推拉”的方式一般都是拉取一条数据，所以这时就需要另外开发一个数据初始化流程，将数据全量拉取到主数据管理平台内。

 

最后配置单据的字段映射完成应用集成场景的配置。

 

同时ESB企业服务总线内置了四种错误预警机制，当重试次数达到峰值时，可以以邮件、短信、微信以及流程的方式预警提醒。

3.3集成流程

单据对接完成后配置提交集成流程。

 

提交后在集成流程内进行统一管理，配置其定时定时策略等等。

 

4流程调整

在集成流程提交后在ESB设计器内要对集成流程进行二次开发，根据物料分组的实际业务需要，要开发物料初始化流程、数据同步流程及数据分发流程，使用集成开发可以在ESB管理控制台内对执行结果进行监控统计，并且能进行流程的定时设置、预警机制配置等，流程具体调整内容如下。

4.1批量同步

首先打开ESB设计器，创建应用集成流程。

 

点击下一步，会检索到刚刚我们场景配置提交的流程。

 

在选择集成流程后需要对流程进行二次调整，调整完成整体流程如下：

 

首先在初始化操作定义appCode及appPwd，通过Http调用组件调用PLM数据获取服务，数据获取后将数据进行二次封装得到一个XML，接下来将XML进行DataSet数据转换，定义index索引值为0，通过appCode和appPwd获取tokenID，通过dataSet.size()获取count最大索引值，之后对数据进行转换成Json，调用MDM数据接口接口将数据插入到主数据内，最后根据index索引进行循环判断，如果index>=count则退出循环反之则继续循环插入，最后写入应用集成日志，比变更流程父节点完成集成流程。

4.2实时同步

数据同步同样使用ESB应用集成创建，调整后整体流程如下：

 

同步流程需要源系统进行改造，在数据增删改时调用同步接口，首先在HttpRequest节点内获取源系统传递的唯一值，根据编码值获取PLM系统提供的物料分组完整的数据（JSON），接下来根据ESB全局变量的中的appCode和appPwd获取MDM的tokenId，接下来将数据格式进行转换，再对MDM特有数据进行二次封装，并将DataRow转换为MDM需要的JSON格式，之后调用MDM OpenAPI提供的接口将数据写入MDM中，并对其父节点进行处理，写入MDM日志信息完成数据实时同步。

4.3效果展示

效果展示以数据初始化为例，在ESB企业服务总线，调用物料分组同步应用集成流程。

 

点击调用按钮，在ESB后台会执行初始化流程。

 

主数据展示如下：

 

5心得体会

通过本次主数据同步、分发以及数据初始化操作让我对主数据治理方案有了一定的了解，也为后续主数据治理项目做了铺垫，在实际项目实施与产品开发完善过程中也暴露了自身的诸多问题，现从企业运营、经验积累以及产品开发心得层面总结如下。

5.1经验积累

通过近期装备制造业的实施工作，让我对主数据治理项目有了更进一步的了解，让我清晰的认识到主数据治理项目及企业应用集成的重点，主数据治理项目的实施同其它行业一样实施难点在于对业务不够了解，只有将企业的整体运营模式吃透后才能对主数据治理及企业应用集成实施更加得心应手。

5.2企业运营

通过近期的项目实施工作使我发现近些年来企业IT信息部门的角色转变，在国内很长的一段时间内IT部门一直作为企业的支持性部门，但是随着企业的不断发展，信息化系统的不断增多，IT部门已经成为了企业内外部沟通，连接客户、合作伙伴的重要通道，是企业日常运营的重要支撑，也以为着IT信息部门承担着更大的责任，所以在企业信息化不断发展的过程中，对于信息部门的人员素质的要求也随着增高，以便在瞬息万变的数字化市场环境下，迅速给公司及客户创造价值。

5.3产品心得

通过近期对生产制造企业业务部门的调研使自身在业务方面有了更多的理解和提升，我认为我们主数据管理平台更多是服务于系统的，为各个业务系统技工基础的数据支撑，而在调研过程中往往会遇到客户提出的各种各样的需求，其中让我清晰的认识到不论是OA系统还是我们的主数据都是实现业务的虚拟化载体，技术最终的价值是帮助客户解决业务问题的，当真正帮助客户解决实际问题后我们才会源源不断的产生收益。

数通畅联作为以集成产品和解决方案为主的技术型公司，产品的研发最终的指向都是解决某个特定业务问题的。没有业务，技术的存在就没有意义，二者是密不可分的，渐渐懂得了领导说为什么公司更缺少的是业务专家的含义，IT技术支撑业务运转、促进业务创新，业务模式呼唤更灵活的技术解决方案，深刻理解IT产品技术、深入掌握业务脉搏的复合性人才是21世纪最稀缺的资源。