集成底座平台和数据中台的关联分析
Posted 数通畅联
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了集成底座平台和数据中台的关联分析相关的知识,希望对你有一定的参考价值。
企业的信息化建设是伴随企业发展不断延伸、不断升级的过程,而随着信息化体量不断增大,建设的复杂度也在不断提升,业务系统间的集成与数据整合也越来越重要。为了提升系统集成的便捷性,针对企业实际业务建立集成底座平台作为支撑是非常有效的方式,通过底座直接对接各业务系统,将业务系统的集成由网状结构转变为总线结构,可以更好地支持后续信息化的建设与升级。
通过集成底座构建企业信息化的基础框架,实现业务系统的集成和数据互通,通过各类业务数据的汇聚与整合,构建企业数据中台体系,形成以数据为核心的业务信息化,为业务分析、数据挖掘、企业决策提供支持,同时支撑企业业务的发展。集成底座、数据中台作为企业信息化的两个层面,一是实现信息系统一体化,二是打通数据壁垒,通过信息化促进业务发展。
1总体说明
集成底座、数据中台是企业信息化集成与整合的重要方式,也是在实际项目中主要的技术解决方案,目前正在参与多个集成底座的项目,所以基于集成底座梳理集成底座和数据中台的关系,为后续集成底座的项目推进和数据中台发展形成标准。
1.1背景说明
最近启动了多个集成底座的项目,而且整体架构比较类似,所以针对集成底座的项目特点,结合对中台理解以及中台项目的建设路线,对现有集成底座项目对业务中台、数据中台的基石作用进行阐述,形成集成底座的建设标准,也方便与客户对中台建设路径达成共识,坚定信心、保障项目快速推进、呈现价值,以便于后续业务中台、数据中台的扩展推进奠定坚实基础。
1.2整体架构
如图所示为集成底座的整体架构,主要包含集成底座和数据中台两部分:
集成底座与数据中台并不是完全割裂的,二者是相互融合、相辅相成的,集成底座作为基础支撑,主要负责对企业基础数据进行治理,同时通过统一认证平台实现统一认证,打通系统的集成壁垒,同时集成底座也会通过企业服务总线的服务集成实现部门业务单据集成的需求;数据中台是在集成底座的深化,将治理后的基础数据以及系统中的业务数据通过企业服务总线的数据集成统一汇聚与数据仓库,再基于数据仓库进行业务主题、指标的分析,同时通过数仓的数据接口直接为业务系统提供各个维度的业务数据,实现企业数据的一体化管控,深度挖掘数据价值。
1.3产品规划
集成底座与数据中台并不是完全割裂的,二者在产品上也是有交集的,其中集成底座的产品规划是IDM+ESB+MDM+UMC,数据中台是MDM+DAP+ESB+UMC,二者都具有MDM、ESB和UMC三个产品,其中MDM负责基础数据治理,UMC是云平台管理工具,两个方案中二者功能一致,但ESB在使用上有所区别,集成底座中ESB主要通过服务总线实现服务化以及系统集成,而数据中台中ESB基于数据总线实现业务数据的汇聚,构建数仓的维表和事实表。
2中台理解
所谓的中台,其实是为前台而生的,用于衔接前台与后端,更好的服务前台规模化创新(营销创新、多端多渠道应用等),更好拓展客户/服务用户、扩大市场营销渠道、增加用户粘性,持续增强企业的能力与活力。目前中台主要分为业务中台、数据中台、技术中台、组织中台,下面简单说明每个中台的情况和特点。
2.1技术中台
技术中台可以理解为随着代码平台化架构而演化出的产物,基础服务通常是底层的服务,面向技术。这些底层技术包括:安全认证,权限管理,流程引擎,门户,消息通知以及自动化测试、CI/CD持续部署、DevOPS智能运维等。这些技术组件通常与业务直接关联度不大,属于每个应用都需要使用的功能,技术中台强调资源整合、能力沉淀的平台体系,从技术层面来讲,大中台技术延续平台化架构的高聚合、松耦合、数据高可用、资源易集成等特性。
在实际业务中,技术中台更类似于粘合剂,将各顶层业务系统(如财务、销售、资金等)以及基础支撑平台(主数据、统一认证等)进行互通,不参与业务但支撑业务,通过基础支撑平台的能力实现各业务系统的统一化,支持跨系统之间的业务集成对接。
2.2数据中台
数据中台主要帮助进行全链路业务、全生命周期的数据管理,在应用层面展现的内容可能不一样,但是底层的数据体系是一致的,基于建立在数据仓库和数据平台之上,通过数据清洗导入、数据同步/分发、数据处理、分析等技术,对企业内外部海量数据进行采集、计算、存储、加工、分析等一系列活动,从而为企业的业务决策提供数据方面的参考,用数据为公司业务、营销、管理赋能。
数据中台的数据主要包括两部分,一是基础数据,二是业务数据,基础数据一般来源于基础数据平台,而通过集成底座治理的数据就是最合适的源头,通过基础数据平台汇聚到数仓中作为维表,而集成底座和数据中台可以实现良好的衔接,数据业务一般直接来源于业务系统,通过ESB直接抽取、汇聚到数仓中,形成事实表。数仓中的维表和事实表相互关联形成数仓模型,对外通过OpenAPI的形式提供数据接口。
2.3业务中台
业务中台负责将业务的公共需求抽象成业务服务,比如:客户,商品、店铺、订单、物流、支付、营销、客服就是公共需求,将这些公共业务抽象出来行成统一的业务服务,供各个业务单元使用,再基于这些通用服务的能力,可以快速搭建前台应用,使其可以直接面向终端用户/潜在客户,极大提升构建面向终端用户前台的速度和效率。
业务中台有两种技术路线,一种是基于集成底座的业务服务化实现,将各业务系统的接口统一注册在ESB平台,通过ESB的服务编排形成针对不同业务场景的服务接口,各个单元直接对接ESB的接口;二种是技术数据中台,通过数仓的管理机制建立数仓模型,不同的模型面对不同的业务,通过对外的OpenAPI进行数据提供,供不同的业务单元使用。二者各有优缺点,第一种方式数据不落地,ESB接口的数据直接来源于业务系统,数据直接实时提供,方便快捷、实时性高,但是由于需要反复读取业务系统,对接口性能要求较高,同时由于数据不落地,集成底座很难监控数据;第二种由于数据来源数仓,取数流程短,性能较好,但是由于源数据需要在数仓落地,数据的准确性和实时性保障是建设的难度也是重点。
2.4组织中台
组织中台我们可以认为是一个虚拟化的组织或者团队,但是这个组织或者团队为了突破部门墙、贯穿业务整体运转而存在,而要做到这一点,这个组织或者团队肯定是比较了解业务的,它的目标和考核也一定与业务有相关性,组织中台的存在客观也有利于业务中台、数据中台项目的推进。
3中台作用
在企业信息化建设过程中,随着系统的增多以及数据量的增大,系统集成是不可避免的,而在系统集成的过程中,如果单纯的采用点对点的集成,不仅实现工作量大,后续运维管理的难度也非常大,所以通过建立中台构建支撑,通过平台支持前端业务是非常有效的方式。
3.1集成底座
集成底座支撑着业务中台和数据中台,是数据业务双中台的建设基础,通过技术中台首先打通系统之间的壁垒,实现系统之间的业务集成,初步统一基础数据,保证后续业务数据对接和传输过程中的一致性,从而为后续数据中台的建设,为数据仓库、数据湖以及湖仓一体化提供基础支持。同时由于各业务系统的基础数据同源,后续产生的业务数据也能快速关联,为业务集成以及业务中台建设提供了保障。
3.2数据中台
数据中台是基于集成底座的延伸,是企业数据深度整合与业务融合的有效方式,通过集成底座实现了业务系统的打通,基础数据实现了统一,这些统一的基础数据就是数据中台的基础,再基于企业实际业务将各业务系统的业务数据抽取出来,从而构建数据仓库,形成一体化的数据中心,基于数据中心实现数据接口、数据报表、业务主题分析、业务指标分析、数据挖掘、数据预测,从而为企业后续的业务发展,决策制定提供了数据层面的支撑。
3.3融合模式
企业信息化建设是一个迭代推进的过程,并不是一蹴而就的,所以可以根据企业实际情况逐步推进相关工作,以集成底座作为技术支撑,先打通各业务系统的壁垒,实现系统间的统一认证和单点登录,同时构建基础数据平台,实现基础数据同源,保证产生的业务单据的一致性。以统一的支撑平台以及基础系统贯穿作为基础,在进行数据中台的建设,以数据中台为业务核心,作为平台集成的数据支撑,深度挖掘数据价值,打造企业一体化IT架构。
4建设方案
集成底座和数据中台的建设也是可以按照中台的实现方案进行建设,通过搭建集成底座作为技术中台,实现基础的系统打通与基础数据整合,再实现数据的深度融合,基于数据仓库实现各业务数据的汇聚与联动,实现业务层面的分析,再通过业务深化建立面向前端的服务接口,实现基于服务的业务中台。
4.1集成底座
集成底座主要包括基础数据治理、统一认证和业务集成,通过主数据平台对企业的基础数据进行统一管理维护,由同一源头进行下发,从而保证各个业务系统基础数据的同源统一,同时基于基础数据中的组织、人员信息建立账号管理体系,实现账号的统一管理和统一认证,实现各系统的单点登录,在此基础上通过企业服务总线进行服务接口的统一管理,初步实现系统间业务单据的集成。
4.2数据中台
在集成底座基础上,将主数据平台中同源、统一的基础数据支持汇聚到数仓形成维表,而企业服务总线则从各业务系统抽取关键业务数据到数仓中形成事实表,而由于系统中的基础数据和主数据平台是同源的,所以数仓中的事实表和维表可以快速构建业务模型,形成面向业务的数据主题和数据指标,无论是进行数据分析还是构建业务报表都能基于数仓快速实现。
4.3业务融合
在数据中台的基础上对现有业务框架的巩固和完善,将更多的模型和接口服务纳入到业务中台和数据中台中,放大数据中台的价值,同时将数仓中的数据基于实际业务建立不同的业务模型,通过平台对外提供数据接口和服务,各业务系统可以直接通过数仓的数据服务接口获取所需的数据,从而逐渐削弱系统间的差异,为企业业务提供更加全面、有效的支撑,为企业业务的发展提供更加有利的支持。
5总结分析
集成底座和数据中台是基于实际项目和目前公司产品体系建立的解决方案,主要是解决企业信息化建设过程中缺少统一规划、系统割裂、难于集成等问题,通过中台建设以及迭代推进,可以为企业信息化带来持久的发展动力,可以有效支撑业务升级。
5.1产品方案
集成底座和数据中台基本涵盖了公司的全部核心产品,特别是ESB和MDM在两个方案都有使用,并且都有着非常重要的作用,所以对于产品的使用需要非常熟悉,特别是IDM平台,由于以前接触比较少,也没在实际项目中使用过,所以还需要更多进行了解,同时对于后续产品的发展方向和规划也是需要了解的,这样在和客户进行沟通时,才能正确的引导客户,推进项目。
5.2业务总结
集成底座主要是完成技术层面的IT建设,参与的业务也不是很深,更多是实现系统将的打通与集成,同时通过ESB建立服务接口的管理系统,而数据中台才会深度参与业务,在建设数仓的过程中需要对业务主题、业务指标进行深度分析。随着方案的不断完善与深化,单纯的产品方案是不能满足实际项目的,后续需要更多从业务层面进行分析,特别是从不同行业的角度去梳理分析,规划项目建设的业务和指标将成为制约项目顺利推进的瓶颈,所以在实际项目中一定要不断了解客户的业务,从业务层面更多和产品方案融合,提炼项目的实施经验。
5.3个人总结
最近参与了集成底座的项目,由于之前的项目更多是主数据方面的实施,对于统一认证也缺少经验,本次一方面对统一认证的实施方式进行了深入了解,同时对于集成底座、数据中台的区别以及二者的融合也有了更深的理解,后续无论是项目实施还是售前沟通,都能和客户进行有效的交流。
以后要通过深度学习不断加强对集成底座的了解,特别是在实际项目中如何通过集成底座和数据中台满足实际的业务场景还需要不断学习和实践,以实践来验证理论,加强对于业务流程的理解。
以上是关于集成底座平台和数据中台的关联分析的主要内容,如果未能解决你的问题,请参考以下文章