如何撰写数据中台蓝图方案

Posted 2022-06-10 数通畅联

数据中台是基于公司的三款核心产品DAP、MDM和ESB组成的解决方案，主要实现基于数据治理分析的中台建设，通过MDM将企业内部的基础数据标准化、规范化、整合化后，由DAP进行数仓建设以及最终的数据分析的可视化展现，ESB通过数据集成完成整个数据中台的主数据分发和数仓的数据汇聚。

近期参加了一个数据中台的项目，在该项目中进行了蓝图方案的撰写，通过蓝图方案的不断完善，对整个数据中台的整体框架有了逐步的了解，数据的加工过程、三款产品之间的相互关联、在数据中台方案中的意义和价值等。下面针对如何撰写数据中台的蓝图方案进行介绍。

1总体说明

数据中台分了三个模块，数据分析平台（DAP）、主数据治理平台（MDM）、数据集成平台（ESB），数据中台的部署环境采用K8S云平台部署，MDM实现基础数据管理，业务数据由源头业务系统提供，通过ESB的数据集成，实现基础数据、业务数据从源头系统到数仓的同步。

1.1方案介绍

数据中台主要是打通企业的数据环节，实现全生命周期的数据管理，通过数据中台建设数据管理体系，实现各个业务系统数据的有效整合。通过基础数据治理保证底层基础数据的一致性，基于业务指标进行前端的动态展现，结合数据指标的多维度穿透，实现以不同形式、不同维度的分析展现。分析业务指标的同时也是对企业业务的梳理，发现业务中存在的问题，实现企业业务升级与转型，保证领导层能实时把控企业业务的发展，了解业务痛点，改进业务管理方式，实现业务与数据的相互支撑，从而为企业的高层决策提供数据支持。

1.2集成架构

数据中台的系统集成架构如下：

1.数据中台中每类主题需要分析的业务数据，都会有对应的来源系统作为数据源头； 

2.通过提供从库或直接获取数据表的访问权限，通过ESB进行数据抽取将需要分析的数据同步至ODS中； 

3.将统一的标准主数据（组织、人员等）进行基础数据的治理，进行主数据的建模、主数据的清洗等，将这些数据下发至下游系统中； 

4.主数据中的数据作为数据分析的维表同步至数仓中； 

5.最终维表、ODS表通过汇总、分析、计算等实现数据整合，以及最终的图形化展现。 

1.3数据架构 

根据需求进行数据架构的绘制，数据中台的整体数据架构如下： 

1.来源系统包含了各类主数据的数据源头，常有的如人力资源系统、OA系统等； 

2.通过数据集成平台（ESB）进行数据的抽取、分发等同步到MDM中； 

3.MDM进行数据的生命周期管理，数据建模、数据的安全管理，保证了数据的标准、数据的规范，数据的同源；

4.经由ESB将对应的主数据下发到相应的业务系统中；

5.并且通过ESB将主数据作为数据的维度同步至数据仓库中进行大数据中心的可视化展现分析。

1.4蓝图清单

蓝图阶段需要的文档清单如下：

1.《业务系统调研提纲》

2.《业务系统调研纪要》

3.《整体调研报告》

4.《调研情况总结汇报PPT》

5.《各类主数据集成标准规范说明书》

6.《各类主数据数据标准规范说明书》

7.《各类主数据管理标准规范说明书》

8.《各类主数据清洗标准规范说明书》

9.《数据中台数据管理规范》

10.《数据中台-主数据平台实施方案》

11.《数据中台-数据分析平台实施方案》 

12.《数据中台-ESB数据总线实施方案》 

13.《数据中台-业务蓝图》 

14.《数据中台-业务蓝图汇报PPT》 

2整体流程 

蓝图撰写包括了四个阶段，了解客户需求的前期调研、针对调研结果对后续内容进行分析规划、根据客户需求进行蓝图方案的输出、在蓝图输出完毕后进行方案评审，最后在不断地评审和调整后让客户最终签字确认。 

  

2.1需求调研 

需求调研，就是借助数据中台的解决方案，引出客户的需求。并在需求调研之后，思考如何才能通过数据中台去适配客户的需求。这个过程不仅仅是去引导客户，也是在梳理我们的解决方案的过程。明确我们能够做什么、客户需要什么、我们能做得如何才能与客户需要的去适配，这才是这个阶段最重要的目的。 

2.2分析规划 

在调研完毕后，针对于客户提出的痛点进行需求分析，通过客户的需求去匹配数据中台的实现情况。在需求分析的过程中，针对产品如何去适配客户的需求进行规划出相关的解决方案。在通过规划的方案进行具体的实现内容规划，最后列出相关的实施计划，通过列举出的内容进行蓝图内容的补充完善。 

2.3蓝图撰写 

在分析规划完毕后，通过需求调研进行蓝图方案的撰写。这个过程是对前期客户的需求进行梳理，在梳理的过程中分模块、分内容去适配进我们的方案中。在撰写方案时一定要明确数据中台的核心价值是数据分析，所有的功能最终都是为数据分析去准备的。在蓝图方案的完善中，一定会出现调研阶段没有调研到的或不明确的地方，这个时候一定要尽早提出来，联系客户进行补充调研。 

2.4评审完善 

蓝图方案是一个项目的开始，也是项目的一个重要节点，无论是客户的需求或者是实施的方向，都离不开确认的蓝图方案。数据中台的数据分析部分有时会包含多个主题，单个客户能够了解的业务很少能覆盖全。而在这个时候，针对于不同的主题模块，就需要与对应的客户进行沟通。在交流各部分的蓝图内容时，不仅可以更加深刻地引导客户的思路，也能够在评审蓝图的过程挖掘出客户更多的需求。 

3需求调研 

对客户调研就是了解客户需求的过程，在进行不断地需求挖掘、信息交互后，了解客户的业务情况，在逐步沟通的过程中引导出客户的真实需求。 

3.1前期准备 

调研简单点说就是我们提出问题，客户方针对问题进行回答。但如果只是单纯地进行提问那么肯定是做不好的，因此在最开始就需要重视这一部分内容，可以有如下的准备方式： 

1.首先在调研之前了解客户的相关业务，调研时针对客户的相关业务去切入可以让客户感到更加的贴切； 

2.在调研之前去熟悉客户的组织架构，在调研的过程中，针对不同的部门的客户采用不同的提问方式； 

3.调研提纲也是一个不错的方式，在调研之前出具调研提纲，不仅可以帮助我们梳理出想要问的问题，也可以让客户根据调研提纲去思考如何进行解答。 

3.2业务挖掘 

在调研阶段，业务挖掘是一个了解客户的真实业务的过程，很多情况下客户虽然客户知道他们平时的业务是什么，但是无法总结和描述出来，所以在这个过程需要挖掘客户的真实业务，通过业务明确需求，可以采用如下的方式： 

1.在调研之前，对相关行业了解，并在调研时提出一些相关行业的案例，让客户做出对应的适配； 

2.在调研过程中针对客户提出的一些关键点进行深入提问； 

3.在调研的过程中，针对数据中台能够解决的需求痛点进行提问，将客户向数据中台的功能进行引导。 

3.3需求沟通 

很多时候，客户可能自己并不知道自己需要的究竟是什么，尤其是数据中台作为一种集成类型的解决方案，是非常抽象的，客户可能都不知道自己的需求具体有哪些，需要我们根据自身的经验加以引导和挖掘： 

1.在调研的过程中进行数据中台方案的演示，让客户对数据中台有一个大体的印象； 

2.在演示过程中可以通过如预置样例、绘制出样例等进行演示； 

3.在实际的效果中，客户会对数据中台的具体效果有所了解。 

3.4整理分析 

在与客户的第一次调研时，可能客户也不知道自己需要什么，自己也没有引导出客户真实的需求，在一场调研下来，可能客户说了很多，但是对于我们所需要的问题点却寥寥无几，但是针对于这些问题点可以进行内容的扩充和整理： 

1.在整理过程中会回忆当时客户所描述出的内容，并针对调研内容进行会议纪要的完善； 

2.在会议纪要完善的过程，针对于一些客户可能不经意间提到的内容进行整理，或客户提出了一些当时没有想到，想要调研结束后在重新进行准备等，将这些问题记录下来并准备进行补充调研或二次调研。 

4内容规划 

蓝图文档的内容进行规划，包括在撰写之前的整体规划，针对数据分析平台进行对应的指标分析，对MDM的主数据内容进行规划，最后对项目的内容、项目进度、项目交付节点等进行规划。 

4.1整体规划 

首先要对整体的蓝图内容进行规划，包括了数据中台中的各个产品模块的实现方式，如何去撰写才能更加贴合客户的业务需求并且将客户的需求落实到我们的产品当中，针对数据分析模块和数据治理模块进行相关内容撰写方式的规划，包括客户的相关指标的分析方式，主数据的集成等。 

4.2指标分析 

客户更多的时候可能只想要去做挑选或在现有基础上完善，所以针对于这种数据的可视化部分不能提出建设性问题，那么就要在完善数据分析模块的蓝图时，明确出客户都需要哪些主题，并针对标准的指标内容及数据的加工过程进行样例展现，让客户对此有一定了解，并在后续不同主题的客户进行蓝图评审时知道我们数据中台都需要哪些。在数据分析模块了解客户要分析的指标有哪些，针对于客户提出的指标信息以及客户所想要的大屏展现方式，进行列举。每类主题都列举出相关的业务报表，最后是对整体的数据分析模块进行功能设计。 

4.3基础数据 

在调研之前就要明确出客户需要哪些基础数据。在文档规划过程中，针对于基础数据，明确出各类主数据的数据源头，数据的消费情况。之后整理出整体主数据的编码体系，不同的主数据的清洗字段及清洗方式。梳理出主数据的整体流向，包括数据的获取方式，分发的目标系统都有哪些。针对于调研时的所有主数据的字段信息进行整理，最后对每类主数据进行功能的设计。 

4.4实施规划 

在蓝图撰写完毕要对后续的整体实施内容进行规划，包括整体的数据中台的实施计划，后续针对于业务蓝图的内容如何进行实施，在实施过程中及时汇报每个模块的实施进度，最后对整体的进度情况规划交付的时间。 

5蓝图撰写 

在内容规划完毕后，就开始进行蓝图内容的补充，不要认为之前的调研就是最终阶段调研，然后觉得没有什么内容。因为前期调研是我们与客户对于数据中台的前期探索，根据客户给出的内容并结合以往的经验完善出初版蓝图，之后根据初版蓝图再与客户进行沟通确认。只有不断沟通和讨论，才能够给出客户满意的蓝图。 

5.1梳理大纲 

在完善蓝图之前要明确三款产品的作用，MDM虽然是进行企业基础数据标准化、规范化、整合化，通过ESB协同完成数据的同步、分发工作，但是在我们数据中台中MDM的作用是为了给DAP数据分析平台提供标准的数据分析维度，所以整个蓝图的重心是放在DAP模块。 

首先将DAP的整体加工流程列举出来，如果客户无法给出相关建议，那么按照标准的加工流程进行加工展现。MDM中侧重于整体的数据流向、数据字段的管理等。ESB要包含数据集成和应用集成，数据集成包括了DAP如何通过ESB进行加工，应用集成为主数据和源头系统与下游系统的对接方式。 

5.2整合业务 

根据前期调研的调研内容，进行蓝图方案的撰写，在数据中台的标准蓝图方案的基础上蓝图文档需要和客户的业务紧密结合，并且能够实现业务的整合，尤其是数据分析模块，在调研过程中客户提出的相关指标信息进行数据分析的过程以及各级穿透之间的联动。 

5.3提供样例 

一个企业的通用主数据，包括组织、人员、岗位等都是企业在日常运转中接触到的，客户对这部分的了解可能更加熟悉一些，但是在数据分析部分，可能客户都没有接触过这种数据可视化的内容，甚至可能都没有这种概念，几场调研下来可能主数据部分问到了许多，但是数据分析部分却寥寥无几。 

针对以上情况在蓝图撰写的过程就不仅仅只是写上客户的需求，我们可以对各个分析主题预置一部分样例，例如介绍我们的数据加工过程，数据到DAP后如何一步步进行可视化展现的，这样带着这些样例去找客户，可以让客户对数据中台有一个初步的认知，至少也可以知道我们数据中台需要什么，尽量让客户去做选择题而不是填空题。 

5.4制定标准 

在蓝图撰写时列举出相关的标准，并在与客户进行蓝图的初次评审时将标准规范进行介绍。包括： 

1.需要数据中台进行集成的集成标准规范； 

2.数据中台对源头系统或数据存储方式的数据规范； 

3.针对于数据中台的治理内容、数据的标准规范体系、管理考核体系，根据不同角色在数据中台中可以管控的数据管理规范； 

4.数据中台根据不同主数据进行数据清洗的数据清洗规范。 

6蓝图评审 

不仅仅最终的客户签字确认才叫蓝图的评审，在评审前的自我审查、项目组内部的讨论和沟通、与客户进行业务方面的交流、通过客户提出的建议进行修改调整等，这些都是完善蓝图的过程。 

  

6.1自我审查 

无论是蓝图还是文档的撰写首先就是要将大纲进行完善，在梳理出大纲后去检查大纲是否合理，或交付给相关领导等进行检查。 

基于大纲进行蓝图的撰写，撰写完毕后需要自己对蓝图文档进行审查，虽然会有部分自己检查不到，但是自己在撰写的过程中一定会出现一些措辞不合理，逻辑前后不通顺、出现错字的情况。所以在撰写完毕后进行一次自我审查，最终从客户的角度考察有没有遗漏。 

6.2内部评审 

蓝图撰写完毕后，首先就是内部评审，在内部评审过程中，针对于不合理、缺失的地方项目组内部给出建议并进行补充完善，在评审的过程中也是对于客户的业务进行再次梳理，梳理出目前蓝图缺失的地方，如果客户没有给出具体的数据分析内容，那么就要根据分析主题给出对应的样例。 

6.3蓝图完善 

通过不断地与客户沟通交互，并进行蓝图内容的梳理，我们的蓝图才能不断的完善。撰写蓝图不是一蹴而就的，是需要很多人的参与然后不断地沟通交互，在贴合客户的实际需求上不断地完善，不断地梳理，最终输出的蓝图才可以交付到客户并确认签字。 

6.4客户评审 

这里的客户评审并不是最终的客户评审，而是阶段性的蓝图确认，在与客户进行阶段性蓝图确认时，通过这种成熟的蓝图内容，客户可以进行查缺补漏，检查蓝图有没有覆盖全自身的业务，并给出相关建议。梳理蓝图的阶段，不仅是我们对客户的业务进行梳理，也是客户对数据中台进行梳理。但是在这个阶段，客户提出的建议一定要进行记录并在蓝图中体现。但如果客户提出的调整不合理也一定要及时沟通。 

7心得体会 

在蓝图方案的完善过程中，暴露出了我很多的问题，也让我增长了很多的经验，我针对这些问题进行总结。 

7.1项目经验 

刚开始的调研时，我有些急于求成了，切入的速度过快，并且被咨询方是领导层面，但是自己问到了许多技术层面的东西。问问题应该先业务再技术，这样的话才会有一个缓冲的过渡期，我在刚开始就提问了一个高难度的问题，领导会认为后续的问题应该都是高难度的，这非常不利于后续的提问，因为就算是问到了他们负责的地方，他们也会下意识的将之前的提问情况融合进来，造成了很多时候答非所问的情况。 

7.2工作方式 

在撰写业务蓝图之前，首先要明确的就是大纲的内容，只有大纲是对的，整体的蓝图撰写方向才不会跑偏，在大纲的梳理过程中贴合客户的实际业务，明确三个模块在数据中台中的主次情况。 

撰写蓝图的过程，也是我在熟悉客户业务的一个过程，并且在完善时不仅要贴合客户的业务，还要在贴合客户业务的同时去适配数据中台的解决方案，在两者相互结合的情况下不断地熟悉数据中台，并在蓝图中给出标准化的解决方案，一个蓝图不仅仅是一次会用到，只有这个大的方向是准确的，冰洁给出了标准化的蓝图内容，在其他的数据中台项目中，也能够根据这种方式去套用，形成完整的体系。 

7.3提高认知 

数据中台方案中最重要的功能就是数据分析，而我在刚进入项目时对数据分析部分还是不太熟悉的，很多时候对于产品的认知和理解是不到位的，这个功能只是使用了，但是真正的功能应用方式没有去确认，导致在蓝图撰写阶段走了很多弯路，在以后针对于这种功能要与公司的其他有经验的同事确认后才可以。 

7.4个人总结 

在蓝图完善的过程中，不仅仅是对之前客户的调研内容进行整理，也是一个梳理并深入了解数据中台方案的过程，无论是调研阶段，或者是蓝图完善阶段我差的都有很多，在调研过程或调研之前要多去思考，多往前走一步，思考如何才能去引导客户，不能最开始就跟客户我准确的需求，要给客户一个充足的发散空间。 

在最开始的蓝图完善阶段，我没有明确到数据中台中各个产品之间的关联和哪一款产品才是最重要的，最开始只是着重关注主数据部分，不去重视数据分析部分，而数据分析部分才是数据中台的核心功能。尤其是目前的这个项目是多业务的大型公司，每种模块的分析指标和业务都各不相同，这是一个很好的机会，明确指标和业务之间的关联关系，让自己能够了解到更多的业务，提升自己的认知。