数据治理项目调研环节思考

Posted 2022-07-18 数通畅联

IT行业项目实施主要分为项目启动阶段、前期需求调研确认阶段、产品功能实现确认阶段、数据标准化初装阶段、系统培训阶段、系统上线测试及试运行阶段、总体验收阶段、系统交接阶段等工作阶段，每个阶段均存在不同的工作事项，且每个阶段均是承上启下的关系，每一阶段的顺利完成都是保证下一补工作的顺利开展。有时每个阶段存在相互交叠的情况，各个阶段的实施也是灵活多变的。

近期正在开展西北某集团的数据中台项目，涉及产品主要包含主数据、数据分析平台以及企业服务总线，当前项目处于前期调研阶段，且该阶段已接近尾声，在调研阶段主要对集团公司下属十余个业主单位进行了调研，涉及到金融、旅游、航空、地产、公路等多个板块，对各板块业务架构、应用架构、数据架构等均进行了梳理，对调研过程有些心得感悟，现针对如上内容总结如下。 

1准备阶段 

在项目前期调研的时候需要对客户现有业务情况等进行了解，并对其应用系统现状以及组织架构等进行了解，结合客户实际情况进行调研，和客户拥有共同语言，现对业务情况、应用现状、组织架构以及调研问卷层面总结。 

1.1业务概况 

对于当前企业业务现状首先可以参考公司官方网站，对客户方的主营业务以及组织架构情况进行了解，可以基于招标文件以及网上资料对该企业整体运作模式、经营模式以及核心产品进行了解，以集团旅游板块来讲，旅游业通常是凭借旅游资源和设施，专门或者主要从事招徕、接待游客、为其提供交通、游览、住宿、餐饮、购物、文娱等六个环节的综合性行业，在梳理业务概况最佳是梳理出集团业务架构图： 

在对其企业现状了解同时从组织架构出发从业务流程层面、协同层、管理层、经营层以及生产层五个层面去分析该企业整体业务架构，在实际的调研过程基于自身理解对于不明确点进行剖析拓展。 

1.2应用现状 

了解企业应用现状可以通过该企业招标文件以及相关资料了解企业现有应用系统，通过现有应用系统以及本期建设应用系统梳理出对应应用架构图如下： 

根据应用系统可以提前分析出企业目前可能存在哪些主数据，例如企业现有人力资源系统，那基本可以断定组织、人员、岗位主数据以及其主数据来源，对现有应用系统进行了解，明确其有哪些功能模块，与其它业务系统之间是否存在对接等，其次可以跟据各个业务系统结合实际业务情况首先将一些企业间共有的分析指标进行梳理，再将各行业的指标进行收集及推算，上述均可跟据业务系统的情况去评估，最后在蓝图阶段和客户去确认。 

1.3组织架构 

可以通过前期招标文件及官网了解其组织架构，首先了解该集团公司是否存在信息化部门，包括是否有信科公司，并了解每个部门之间的运营关系，通过信息中心了解其组织架构，同时在后续调研过程中要提前下发本期应用系统建设组织需求清单，明确哪些组织拥有本期应用系统应用版权。 

1.4调研问卷 

在调研问卷部分可根据过往项目经验结合当前公司实际情况梳理对应的调研问卷或者调研提纲，且该调研提纲要跟据实际调研不断调整和完善，以下为数据中台项目部分调研提纲，仅供参考。 

1.详细介绍部门负责的业务，包括业务流程、业务场景等。 

2.目前集团具体哪些信息系统？当前信息系统是否正在使用？使用的下属公司都有哪些？业务系统是集团统一建设，哪些系统是自建自管的？ 

3.目前在实际业务中，频繁使用的基础数据有哪些（如组织、岗位、人员、财务科目、银行、客户、供应商）？ 

4.需要共享的数据类别有哪些？这些数据分别来源于哪个系统，使用的系统有哪些？目前是怎么维护保证数据一致的？ 

5.这些基础数据是否会有变更？变更的节点？变更的时机？数据的变化频率？与其他系统的集成需求？ 

6.这些基础数据是否建立了标准规范（包括数据标准、管理标准、集成标准、编码规则等）？ 

7.数据中台在进行数据分析时通常是按照主题去分析，需要分析哪些业务主题（如人事、财务、客户、资产、资金等）？ 

8.针对每类主题，在实际业务运行过程中，比较关注或者常用的数据指标有哪些？ 

9.这些指标一般来源于哪些系统或哪些业务？ 

10.在实际业务中，这些指标是如何在各个系统中使用的，跨系统对接过程中指标的交互形式是怎样的？ 

11.业务指标是否均为线上指标？是否有线下指标，线下指标如何管理？是否要纳入线上系统？如何纳入线上系统？ 

12.部门在日常运营的过程中是否需要制作业务报表，当前是使用什么来制作报表？ 

13.对未来数据的可视化分析方面有什么想法（实时性、展现形式、数据服务、数据预警等）？ 

2调研过程 

整体调研分为两阶段，第一阶段主要了解企业间运作模式，了解其业务架构、组织架构、业务流程、应用架构以及数据架构等，在第二阶段主要针对主数据层面以及数据分析指标，了解其需求、数据模型、对接方案以及相关接口。 

2.1调研目的 

整体调研通常分为两个阶段，分别为系统调研以及业务调研，调研时间通常为一个自然月，调研分为两个阶段，第一轮调研时，主要是了解产品，分析可能存在主数据以及数据可视化分析的指标，并与各个厂家的实施维护人员见面，进行产品演示。如果有两个系统都用到的数据要进行记录，明确使用字段、数据来源，明确两个系统间共用数据是否有联系，包含线下数据。对于相互重叠的主数据，应该明确哪里作为数据的源头。第二轮调研更多的是讨论和确认，例如确认主数据的元数据字段信息，与各业务厂商明确接口以及集成对接方式等等。 

在数据可视化分析主要明确企业运作日常考核哪些指标，并明确指标的计算方式、指标的阈值、是否通知报警、通知以及预警方式等等，对于一些数据的集成部分可以放在后续出蓝图设计时再次沟通，在最终确认后与业务部门进行沟通方便后续数据管理、测试、运维等工作。 

2.2调研思路 

项目实施小组在调研时，要按照“由上到下，由粗到细、抓大放小”的方法进行调研，切勿一开始就纠缠业务上的细节问题，这样会越陷越深，最终会适得其反，欲速则不达；调研的重点放在公司对项目的管控以及项目部内部的业务管理上，对集团层面的调研，则主要关注集团总部对项目的管理流程、表单、以及关键的管控节点等；对项目层面的调研，则主要关注项目部内部的工作流程及表单的具体处理过程，以及对集团总部汇报的内容上； 

不要指望本次调研会把所有的问题“一网打尽”，以后就可以不管了。项目调研是一个循序渐进的过程，前期工作主要是对企业对项目的业务管理模式、管理手段、以及管理内容作一个初步的了解，其中有些业务细节不可能一次性全部了解清楚，以后会随着项目的逐步推进，还会不断进行详细、深入地了解。 

2.3 系统调研

在系统调研时，首先需要了解该企业现有的应用系统，根据招标文件明确本期建设内容以及边界，了解各个应用系统的核心应用某块以及其主要作用，在条件允许的情况下与各个业务厂商碰面，让其进行系统演示，对于不明确的业务点及时记录明确，并让业务厂商提供登录测试系统账号、数据数据字典等相关对接文件，根据其系统的介绍并明确主数据以及各类指标的来源以及该类数据在该业务系统是如何维护的进行记录，对该数据什么人员使用、使用场景进行相关记录，最后由客户以及各厂商提出数据中台的需求以及想法。 

2.4业务调研 

业务调研整体分为两类，分别为主数据调研和集团考核指标调研，在对业务部门调研时需要记录，在后续通过会议纪要的形式用邮件发送给客户负责人、项目总监、监理方以及参与调研的双方人员。 

主数据调研首先需要根据业务系统调研确认主数据的类别，以该人员主数据为例，明确该类主数据在哪些业务系统中所使用，人员主数据的源头在哪，需要分发到什么应用系统中，在源头系统需要对主数据的维护模式进行确认，并与来源系统明确主数据同步以及数据初始化形式等等，例如人员主数据有跟据组织数据形成的编码规则，需要和客户确认是否沿用该编码等。在应用集成时需要明确有哪些集成的场景，对接哪类应用系统，该应用系统目前是否在维护，能否提供对接的接口等。 

集团考核指标调研需要根据调研去划分主题域，同时在指标调研时要明确哪些指标是集团下发的硬性指标，该指标上报的频率等，同时也要明确指标的阈值、指标的计算方式等等，在调研过程中不仅仅是了解指标，每个企业都有业务报表创建的过程，在调研过程中要明确这些报表的生成方式，数据的来源等等。 

3调研结果 

调研结果输出主要包含该企业整体架构、考核指标、主数据部分，整体架构层面主要说明企业业务架构、组织架构、业务架构、应用架构以及流程架构，而主数据方面说明数据的来源系统、分发系统、对应模型以及相关接口等，具体的指标主要包含集团考核指标、报表等等。 

3.1整体架构 

在调研过程中要对集团的架构进行不断梳理，要梳理为对应的业务架构、组织架构、应用流程、数据架构等等。 

3.2基础数据 

MDM主数据管理平台负责主数据、参考数据的管理以及业务流程的审批配置等，而ESB企业服务总线基于数据接口抽取各个业务系统的数据将数据从业务系统同步至主数据管理平台，所以在调研过程中要明确各类主数据的数据源头，具体细节到指定的字段信息，包括元数据信息及参考数据信息，明确其对应的集成对接方式等等。 

3.3集成需求 

在数据中台方案中系统集成模块主要包括数据的应用集成以及数据集成，应用集成主要是协同主数据平台进行数据的同步以及数据的分发，而数据集成是配合DAP数据分析平台构建企业数仓。所以在调研过程中要明确具体的接口都包含哪些，包括接口的调用方式、数据字典、入参信息、出参信息等等，如果是以数据库的方式集成要明确数据库的地址、权限等等。 

3.4指标梳理 

指标梳理主要分两个模块进行梳理，第一个模块是明确集团公司对分子公司的考核方式是什么，是否以指标的方式进行考核，如果是要明确集团下发的具体指标都包含什么，是否是单一的财务指标，包括之后的阈值是什么。另一个模块是考核分子公司内部的考核指标，通过调研对具体的指标要明确出来，包括指标的阈值、是否通知报警、指标的计算方式等等。 

4调研输出 

在项目调研结束后主要输出如下内容，具体包括调研报告、调研清单以及梳理对应蓝图方案需求规格说明书以及设计规格说明的整体该框架，具体内容如下。 

4.1调研报告 

在调研过程中要依据结果去调研，同时在调研结束后要编制对应的调研报告，在调研报告中要包括如下内容： 

1.项目的调研背景； 

2.项目整体调研过程，包括调研对象统计、核心调研内容； 

3.当前现状调研，包括数据的现状调研、考核指标调研、集成现状调研以及应用现状调研； 

a)主数据现状调研：包括各类主数据的源头、消费、数据量等等； 

b)考核指标：考核指标按照主题去对各个主题去罗列； 

c)集成现状分析：包括业务系统集成现状、标准数据集成现状分析以及现状分析总结； 

d)应用现状分析：对公司集团以及集团下各个分子公司业务系统进行分需； 

4.结合实际情况对整体问题做出总结：主要包括数据流程、数据环境、数据集成、数据质量、数据应用、数据标准、数据管理以及问题分需总结； 

5.规划建议：规划建议同时结合实际情况进行建议，包括建立数据标准规范、制度规范改进、系统集成改进、数据质量改进以及指标管理体系改进意见等等。 

4.2调研清单 

上文调研报告主要针对调研过程的数据，而调研清单则是将调研报告进行抽象，同时也要梳理出如下清单： 

1.应用系统清单：包括应用系统的系统板块、功能模块、所属公司、厂商名称、使用效率、系统架构、使用范围、是否为主数据管控集成、是否是数仓抽取源头、是否从数据中台读取数据以及配合改造方式等等； 

2.数据主题清单：整理归纳出主题名称、所属组织、关联业务系统、业务说明、典型业务指标、典型业务报表、业务服务等； 

3.主题指标清单：整理归纳出指标计算方式、指标阈值、是否报警、报警方式等等； 

4.主数据范围：整理归纳出主数据名称、数据源头系统、数据应用、主数据属性、规模(记录行数)、对接方式、对接接口、对接人等； 

5.联系人：整理归纳出厂商、姓名、职务/分管内容、手机号、邮箱等，便于后续对接。 

4.3蓝图方案 

在调研阶段结束后下一阶段是蓝图方案的撰写，针对蓝图方案首先要基于调研结果梳理出对应的蓝图整体框架，将调研报告的相关需求融合在对应的蓝图设计资料中，例如对应的应用架构、数据加工、集成架构等等丰富在对应的整体蓝图中，最好基于蓝图设计需要的相关材料检测自身调研阶段还欠缺哪些内容，查缺补漏。 

5心得体会 

通过本次的项目前期调研使自身在沟通能力以及工作安排上有了一定的提升，同时也暴露了自身的不足之处，现从业务理解、风险把控以及沟通交互层面总结如下。 

5.1业务理解 

在项目现场工作，了解客户实际业务需求是至关重要的，一个懂业务的实施人员会更好的推进项目，目前无论是在沟通交互还是在对业务理解方面都有都很大的欠缺。在调研前期一定要做好充足的准备，多听、多看、多问，结合概念与实际业务相结合，避免出现客户不信任导致影响公司形象的情况。 

5.2风险把控 

每个项目中都存在一定的风险，作为项目实施人员需要具备风险把控意识，例如项目交付的风险、团队人员变更的风险。项目实施过程中对项目的里程碑节点、进度做到有效把控，同时实施人员需要能够具备敏锐的洞察能力，有效地规避及预知项目中可能存在的风险。要对目前存在实际情况进行深度剖析，例如项目进度慢的潜在因素、实施过程中的问题、项目中的技术点、其它业务厂商可能导致项目拖期等实际风险等。 

5.3沟通交互 

在项目现场进行实施工作，沟通能力是至关重要的，不仅仅是与客户的沟通，还包含与友商、其它业务厂商以及同事之间的沟通。良好的沟通是指快速理解问题能力和表述问题能力两方面。在寻求同事帮助前，要先站在同事的角度上去考虑如何用准确的语句去描述问题，并将同事带入到问题情境中，这样才能更好地解决问题。每个人想法不同、位置不同、立场不同，出现分歧、发送争论的双方不是想赢过对方，更多是想让问题尽快的暴露出来，以便更快解决。协助工作完成后，协助人要及时对协助的内容进行反馈。 

在与厂商沟通前我们要提前做好准备，明确沟通目的，我们和其它业务厂商之间均是为了项目能够快速的推进，与厂商做到有效沟通，不要出现误解的情况。如果出现沟通不顺利和工作推进不了的情况一定要及时与领导沟通并解决问题，化敌为友，双方并不是站在对立面进行交流，在与伙伴沟通的过程中带着明确的交流意识，有方法地进行交流，最终达成共识。