集成底座项目实施总结

Posted 2022-03-03 数通畅联

集成底座是基于IDM、MDM、ESB三个核心产品组合打造的一套解决方案，主要解决企业信息化建设过程中业务系统打通以及基础业务集成整合的问题，通过构建企业集成底座，实现各业务系统间的统一认证，保证业务系统访问的一致性；实现各系统基础数据的同源，保证数据一致性的同时为后续复杂的业务集成、财务集成等提供基础数据支撑。

最近参与了几个集成底座的项目实施工作，根据实际项目中实施的方式和效果，整理了对于集成底座项目实施的具体模式，包括系统的对接方式以及相关标准的制定，为后续集成底座项目的实施与培训提供借鉴。

1总体介绍

集成底座是基于IDM、MDM和ESB三个核心产品构建的集成解决方案，主要打通业务系统壁垒，建立各业务系统的统一认证平台，同时实现组织、岗位、人员、客户、供应商等基础数据的同源统一。

1.1产品清单

集成底座主要包括IDM统一身份认证平台、MDM基础数据管理平台、ESB企业服务总线平台三个核心产品，以及UMC云管理平台。

1.IDM统一身份认证平台：主要为业务系统搭建统一认证平台，通过预置的OAuth、CAS、认证接口等方式实现各系统的统一认证和单点登录，同时进行组织、角色、用户的管理，并根据需要为下游系统提供用户账号信息；

2.MDM基础数据管理平台：通过平台进行基础数据管理，将组织、岗位、人员、客户、供应商等基础数据同步至MDM平台，并基于MDM的分发机制分发给下游业务系统；

3.ESB企业服务总线平台：统一的服务管理以及集成构建平台，基于API管理、应用集成快速构建IDM、MDM以及业务系统集成的集成服务接口，实现数据和服务的对接； 

4.UMC云管理平台：统一的集群管理平台，管理K8S集群，以及IDM、MDM、ESB等产品的容器化部署、升级，同时支持容器的水平、垂直扩展。 

1.2集成架构 

整个集成底座方案的集成架构以IDM、MDM为主要的数据管理端，以ESB作为集成通道，通过ESB将源头系统的组织、岗位、人员等基础数据同步至MDM平台，从而实现基础数据同源一致以及全生命的管理，再通过ESB将治理后的基础数据分发至下游系统，包括IDM平台以及IDM实现账号的统一管理以及统一认证，从而构建一体化的集成底座平台，基于集成底座实现和上下游系统的联动。 

1.3部署架构 

整体部署采用云平台的部署方案，搭建K8S高可用集成，容器化部署IDM、MDM、ESB等产品，部署架构图如下： 

本次采用了8台服务器进行部署，其中3个master，5个worker，其中IDM、ESB、MDM采用容器化部署在5个worker节点上，其中worker1、worker2用于部署开发、测试环境，两台服务器各一个节点，worker3、worker4、worker5用于部署3个节点的生产环境。 

2实施说明 

对于集成底座项目的实施，主要针对实际项目中IDM、ESB、MDM产品的集成模式进行梳理，主要包括主数据同步、主数据分发、用户分发三部分内容。 

2.1方案设计 

1.主数据同步： 

1)源头推送数据（或者推送查询标识）至ESB的集成流程； 

2)ESB的集成获取源头数据（或者通过查询标识从源头查询数据）后，在集成流程内部调用MDM的接口； 

3)生成主数据编码，并将数据写入MDM，同时生成任务和同步日志； 

4)ESB集成流程调用MDM的自动提交接口将任务提交至MDM的BPM工作流中，BPM工作流通过调用ESB的分发流程实现数据向下游系统的分发。 

2.主数据分发： 

1)通过ESB开发主数据分发的集成流程，提供给MDM的BPM工作流进行调用； 

2)集成流程的入参为MDM任务的taskId，通过taskId查询MDM的任务数据，并根据业务要求进行数据处理； 

3)处理后调用下游系统的数据接收接口将数据写入到下游系统中； 

4)下游系统完后数据写入后调用MDM的日志回写接口进行数据回写操作。 

3.用户分发： 

1)用户分发主要是通过IDM将登录用户信息分发至下游系统，实现各系统的统一认证和单点登录； 

2)用户分发涉及两种场景，一是业务系统的用户和人员信息是一致的，那么直接通过MDM分发人员至下游系统即可，IDM只需要管理认证信息，不需要对下游进行分发；二是业务系统的用户和人员是分开，那么MDM负责人员的分发，IDM则负责账号的分发； 

3)IDM用户分发主要是将IDM的人员信息通过任务的形式分发下游系统，和MDM的分发方式类似； 

4)在人员信息进入IDM平台，可以手动或自动的方式生成分发任务，再通过IDM内置的BPM工作流进行自动提交； 

5)在BPM工作流内调用ESB的IDM分发集成流程实现向下游系统的数据分发； 

6)IDM分发集成流程的入参为IDM任务的taskId，通过taskId查询IDM的任务数据，并根据业务要求进行数据处理； 

7)处理后调用下游系统的账号接收接口将数据写入到下游系统中； 

8)下游系统完后数据写入后调用IDM的日志回写接口进行数据回写操作。 

2.2涉及接口 

1.源头系统：数据推送、编码接收； 

2.MDM：数据接收、数据获取（taskId）、日志回写； 

3.IDM：数据接收、数据获取（taskId）、日志回写； 

4.ESB：源头到MDM同步集成、MDM分发集成、IDM账号分发集成； 

5.下游系统：taskId接收、数据获取（taskId）、日志回写。 

2.3标准规范 

集成底座项目的标准规范主要是针对主数据管理、统一认证，以及主数据和账号的集成规范，一般包括以下内容： 

1.主数据数据标准：主要针对每一类主数据制定的数据标准，包括主数据的编码体系、字段清单、参考数据等； 

2.主数据管理标准：主要针对客户的管理组织，针对主数据的日常维护以及管理，建立相应的管理规范，保证主数据的日常管理维护； 

3.主数据集成标准：主要针对每一类主数据制定同步、分发标准，包括源头系统同步至MDM和MDM下发下游系统的相关服务接口，以及接口对接过程中入参、出参等信息； 

4.统一认证标准：业务系统和IDM进行统一认证集成的标准方案，IDM支持标准的CAS、OAuth认证方式，下游系统直接按照标准进行对接； 

5.账号集成标准：IDM账号信息下发下游系统的标准，包括对接的服务接口以及入参、出参信息。 

2.4实施内容 

集成底座整体实施内容主要包括主数据治理、统一认证、统一服务等内容，主数据治理通过MDM平台进行主数据管理维护，统一认证主要基于IDM平台进行各业务系统的统一认证，统一服务主要是基于ESB将各业务的服务接口注册到ESB平台，由ESB进行统一管理维护以及监控统计。 

3IDM身份认证平台 

IDM身份管理平台是为解决企业内部多系统之间的用户信息不一致问题，IDM系统包含用户信息的统一认证，统一授权，统一管理，统一审计，进而规范用户身份信息，保证系统安全提高工作效率。 

3.1功能作用 

需要基于集成底座实现统一认证，而统一认证的基础是统一账号： 

1.账号的源头是在MDM主数据平台，对于集成底座而言，属于内部集成统一，所以统一认证主要涉及账号的下游系统分发； 

2.对于虚拟组织、虚拟账号、测试账号等不属于主数据范畴的数据，由集成底座的认证模块统一进行虚拟组织、虚拟账号、测试账号的维护，并通过认证模块手动分发至下游系统。 

3.2集成场景 

  

1.MDM主数据平台从HR人力资源系统获取人员信息，并储存在人员主数据的账号分组中； 

2.由MDM主数据平台向IDM将人员的账号信息发送至IDM平台； 

3.统一认证的实现主要通过IDM身份认证管理平台，在IDM平台中将MDM下发过来的账号信息下发至不同的业务系统从而实现各业务系统的统一用户； 

4.各业务系统根据IDM的统一认证标准进行产品调整，从而满足IDM的认证要求，实现统一认证和单点登录。 

IDM身份认证管理平台接收到主数据下发的人员信息后，统一进行账号管理，并以实现HR、OA等系统的统一认证，并且IDM从功能上来看，以完成统一认证为主。 

3.3流程实现

  

1.账号信息主要分为两部分：一是基于人员信息的账号，二是在IDM手动维护的账号（如测试管理员账号）； 

2.如果是IDM手动维护的账号需要手动生成任务，如果是人员的账号会自动生成任务，并产生任务标识TaskId； 

3.IDM将TaskId推送至下游业务系统的任务接收接口； 

4.下游系统接收TaskId后先调用IDM的接口获取tokenId，再调用IDM的账号提供接口获取任务中的数据（JSON），将数据写入下游业务系统中； 

5.写入完成后调用JSON的日志接口进行日志回写。

4MDM基础数据平台 

基于MDM主数据管理，实现各业务系统复用一套主数据，各系统就像一个大系统的各个业务功能模块，企业IT架构可以实现柔性调整、升级、改造，从而支撑企业的业务战略目标落地。 

4.1功能作用 

主要对组织、岗位、人员等主数据进行管理，包括从源头系统将主数据同步至集成底座进行管理，以及从集成底座分发至下游业务系统。基于人力主数据以及集成提供相应的同步分发接口，满足主数据平台和各业务系统有效的数据对接。 

4.2集成场景

以组织、岗位、人员等人力资源相关的主数据为例，数据源头为HR系统，HR通过调用ESB服务将组织、岗位、人员数据同步至MDM平台的对应主数据中；MDM通过打包任务再分发至下游的业务系统，从而实现组织、岗位、人员主数据的统一。 

4.3流程实现 

1.以HR系统为源头，HR负责提供组织、岗位、人员的源头数据； 

2.HR系统在进行新增、修改、启用、禁用等操作时进行提交，再调用MDM的同步接口将数据以JSON的方式进行推送； 

3.MDM的同步流程接收HR系统的JSON数据后进行落地，同时自动生成数据分发的任务，并产生任务标识TaskId； 

4.MDM将TaskId通过BPM工作流推送至下游业务系统的任务接收接口； 

5.下游系统接收TaskId后先调用MDM的获取tokenId接口获取tokenId；再调用MDM的数据提供接口获取任务中的数据（JSON），并将数据写入下游业务系统中，写入后调用MDM的日志接口进行日志回写。 

5ESB企业服务总线 

ESB企业服务总线主要作为企业信息系统的“龙骨”来集成各业务系统，通常作为服务总线和数据总线，服务总线是指通过API管理进行API的注册与维护，支持应用集成以及外部系统的调用；数据总线主要是支持数据抽取与汇聚，如DAP数仓的数据汇聚。 

5.1功能作用 

在集成底座的解决方案中，ESB企业服务总线主要是发挥服务总线的作用，一方面支持源头到MDM的主数据同步，以及MDM到下游系统、IDM到下游系统的分发；另一方面通过ESB的API管理将IDM、MDM、业务系统的接口注册到平台，以支持不同系统将的调用，如IDM、MDM的获取tokenId接口，IDM、MDM的获取数据接口（通过taskId）。

5.2集成场景 

ESB作为系统集成、数据集成、应用集成的技术支撑，底层通过服务接口方式直接和业务系统进行交互，从业务系统中获取原始的业务数据或经业务系统整合好的数据。在集成层ESB和MDM主数据管理平台、IDM统一身份认证平台等进行交互，通过调用系统服务实现数据集成，协助完成主数据治理、统一身份认证等应用场景。 

5.3流程实现 

ESB的流程主要是通过应用集成构建的IDM、MDM的同步分发集成流程，同时由于ESB、MDM需要实现和IDM的统一认证，所以需要通过ESB手动开发ESB、MDM的系统组织、人员表数据接收服务。 

在集成底座方案中ESB的另一个重要作用就是对于IDM、MDM以及业务系统的服务注册与管理，通过ESB的API管理实现对各系统API的配置与监控，并支持ESB的应用集成配置和后续其他系统对接的接口调用。 

6项目总结

集成底座是基于IDM、MDM、ESB等核心产品构建的解决方案，主要是满足企业信息化建设中系统集成的需要，打通系统壁垒，实现异构系统的统一认证和单点登录，通过基于MDM平台进行基础数据治理，实现各业务系统的基础数据同源，从而为后续深度的业务集成和数据集成提供基础支撑。 

6.1注意事项

在最近的实际项目中，对于集成底座项目实施落地的过程中，比较容易存在一些问题和风险。 

1.编码一致性：通过MDM进行主数据集成时，主要包括同步和分发两个过程，最佳实践是通过MDM平台进行编码统一，即源头系统同步至MDM时，由MDM生成编码并回写源头系统，同时也要发送下游系统，从而保证上游、MDM、下游系统的编码一致性； 

2.主数据分发：在实施集成底座项目时，主数据的分发建议采用推拉结合的方式，即通过MDM推送TaskId到下游系统的接收接口中，再由接收接口调用MDM平台接口获取任务数据； 

3.账号管理：在集成底座方案中，账号是通过IDM平台进行维护的，即由源头系统同步至MDM的人员中，再由MDM分发到IDM，IDM向下游分发账号。 

6.2方案优化 

为了提升集成底座的项目实施的便捷性以及实现快速交付，目前IDM、MDM、ESB正在进行升级，将三个平台集成的内容直接预置在产品或者ESB的预置数据中，后续再进行集成底座的项目交付时，可以直接通过数据初始化完成集成场景的部署，只需要快速调整对应的变量就是搭建一套集成底座平台。这种方式不仅可以提升项目交付的效率，同时也可以把更多的项目工作转移到业务、标准等方面，提高项目的实施效果，积累更多的项目经验。 

6.3个人总结 

最近由于工作的调整，开始逐渐接手集成底座的相关方案，由于之前对于IDM产品的使用、集成底座的集成模式还不是太熟悉，所以还存在一些问题，但随着在实际项目进行应用，以及基于集成底座和实际业务开发集成流程，对IDM、MDM的集成以及相关接口的使用已经有了更全面的了解。 

一个项目的成功是方案、产品、实施、体系等众多方面的集合的结果，在项目中不仅仅要关注具体的工作，更要借助项目了解实际业务、积累项目经验，才能不断提升项目能力。但对于项目经理而言，在了解业务的同时，也要整体把控项目，关注项目进度、项目风险、里程碑节点等，同时也要注意关注商务部分，以保证项目实施范围、进度、收款等内容，以达到通过项目推送公司业务发展的需要。