DAP+ESB预置样例组件配置心得

Posted 2022-08-26 数通畅联

随着企业发展以及信息化建设，企业初步搭建整体IT框架后，业务系统所产生的数据也在逐渐增多，通过系统数据挖掘数据的价值，促进业务的升级已成为企业信息化发展的必经之路。对于大多数企业来说，可以对积累下来的大量历史数据进行统计分析，根据以往时间的发展趋势去规划未来的发展方向，但数据的查看不是十分直观，不能非常快速地获取所需的信息，因此企业出现数据可视化的需求。

DAP数据分析平台是公司的核心产品之一，主要是满足在企业进行数据分析的过程中，进行数据集中化管控、决策分析等需要。通过DAP数据分析平台可以有效支撑企业构建数据仓库，实现企业业务数据的清洗和汇聚，同时基于DAP平台的展现配置，可以根据业务主题构建相应的展现看板，从而实现数据的图形化展现，为企业领导层的数据把控和运营决策分析提供支持。 

1整体介绍 

通过大批量历史数据分析历史趋势时，想要从大量数据中准确地获取到重要数据非常困难，而可视化组件的作用则在于将数据转化为图形，将用户的注意力引导至重点目标上，在本篇文档中将着重对可视化组件的作用及使用方式进行阐述。 

1.1整体说明 

DAP数据分析平台是在企业内部基础数据标准化、规范化、整合化的基础上，支持数据抽取、加工、转换、汇聚，通过主题化、动态化、组合式、拖拽式配置，以API的形式对外提供数据，逐步建立统一高效、资源整合、互联互通、信息共享、便捷查询、实时监管的内外一体化数据决策分析平台。 

ESB设计器可以根据DAP的数据资源（ODS、DIM、DWD、DWS）定义的元数据自动生成数据采集同步、清洗转换、加工汇总的流程，同时自动完成与调度资源的关联，完成对数据的处理；DAP基于经过处理后的标准数据完成模型、数据集、立方体的配置，之后通过可视化组件进行展示，辅助企业进行营销策略的制定，以及企业整体发展战略的有效落地。 

1.2集成架构 

本次工作在DAP+ESB预置样例中开展，数据架构如下： 

1.源头系统：源头系统使用数据库来模拟业务系统，源头系统工包含人力资源管理系统、财务管理系统、地产管理系统、旅游管理系统、成本管理系统、销售管理系统共六类系统； 

2.使用ESB将各业务系统数据抽取至ODS当中，采用时间戳或字段对比同步的方式； 

3.通过ESB完成ODS中数据的清洗转换及加工汇总，存储至EDW中； 

4.在数仓构建对应数据模型、分析模型，基于模型进行数据集、立方体、以及报表的配置； 

5.根据上述工作成果进行数据可视化配置，将数据展现分析。 

1.3功能需求 

本次工作是DAP+ESB预置样例功能中的一部分，通过本次工作内容，样例的使用者可以了解DAP可视化配置前的模型、数据集、立方体的配置步骤，以及部分组件的使用方式，本次工作核心内容如下： 

1.配置数据分析模型，包含数据集、立方体以及报表的配置，支撑后续工作的开展； 

2.通过配置各种组件完成数据可视化效果的实现，使数据清晰且直观地进行展示； 

3.配置各页面之间的跳转以及组件之间的交互，使用者可以更为便捷地分析整体或个体的发展趋势。 

2分析设计 

在实际工作中，工作前期的数据清洗、转换等一系列处理，最终的目的都是为了实现数据可视化，在本章节中，将具体介绍数据可视化的实现思路，以及实现数据可视化之前需要完成哪些工作。 

2.1需求分析 

本次工作内容共分为三部分，第一部分是组件配置前的模型、数据集、立方体以及报表的配置，完成配置后可支撑剩余两部分工作的开展；第二部分都是组件展示的配置，基于第一部分的数据集或立方体或报表中的字段，配置完成可实现数据的可视化，此时数据初步进行可视化展示；第三部分是组件交互的配置，配置完成可以实现页面间的跳转以及各组件之间的联动，可以实现总体数据以及各部分数据分别进行展示。 

2.2前置工作 

在开始配置数据模型前，需要完成对数据质量的处理，也就是数据仓库的建设，具体可分为业务系统到ODS，此时完成业务系统中的数据ID到ODS数据ID的转换；其次是ODS到数仓，此部分包括维表、基础事实表以及汇总事实表的构建，其中维表存储的是ODS数据表中的维度信息，基础事实表是根据维表以及ODS数据表做出清洗转换保证数据的质量，汇总事实表基于基础事实表进行汇总计算实现数据聚合。完成以上工作，即可开始本次工作。 

2.3实现思路 

本次工作实现思路如下： 

1.基于构建完成的维表及汇总事实表创建数据模型，并完成关联关系的配置； 

2.根据数据模型选择字段信息，完成对数据集、立方体、业务报表以及多维报表的配置； 

3.基于数据分析平台预制主题、组件配置各个主题看板及大屏，配置组件穿透、联动等； 

4.最后对工作成果进行测试验证，并根据验证结果进行调整。 

3模型构建 

从构建完成的汇总事实表中选择所需要的字段来配置数据模型，构建数据集以及立方体，完成组件配置前的工作，在本章节中将对数据集、立方体、业务报表的构建步骤分别进行阐述。 

3.1数据集配置 

在数据集配置中点击新增，如图： 

选择数据集来源数据模型，同时配置数据集基本信息，如图： 

双击创建的数据集，配置数据集中的字段信息，如图： 

配置完成后点击提交→发布，即可完成数据集的相关配置。 

3.2立方体配置 

在立方体配置中点击新增，如图： 

填写基本信息并点击保存，如图： 

在立方体信息中选择对应的数据集，选择需要的维度以及度量信息，如图： 

保存后点击发布即可完成立方体的配置。 

3.3业务类报表 

DAP数据分析平台综合业务报表主要是跟据数据集为客户提供综合业务报表，其配置方法相对比较复杂，可以选择表头数据集以及报表数据集，综合业务报表通常是多表头的，效果如下： 

在选择报表数据集后在下方会出现对应的字段，可以通过前方多选框勾选字段信息显示内容，是否固定功能通常设置在编码或者名称等具备标识性的信息进行固定。 

数据行合并如上方最终显示样式，从下向上第一行是应发薪资、奖励薪资、奖惩薪资等，第二行为基础薪资、基础薪资、基础薪资都是相似的配置，如果勾选数据行合并后会将相同的第二行进行合并成一行，可以按照此配置来创建综合业务报表。 

4可视配置 

当数据经过清洗转换后，数据质量已经得到了保障，企业可以根据这些数据进行分析，掌握公司在此阶段的发展趋势，但通过数据进行分析不是很直观，此时需要对数据进行可视化配置，使数据更直观的展示。 

4.1组件配置 

在开始配置组件前，先进行组件容器的布局配置，如图： 

点击组件配置，在左侧组件列表中选择合适的组件，拖拽到右侧的容器当中，如图： 

点击齿轮形状的配置组件按钮，选择组件的数据来源，在这里以立方体为例，如图： 

如数据的行列不满足实际配置需求，在这里也支持行列转换功能，如图： 

最后，配置对应的维度以及指标并保存即可完成组件的配置，如图： 

最终效果如图： 

4.2组件穿透 

在实际展示中需要进行页面间的跳转，也就是组件穿透，配置步骤如下： 

点击配置组件按钮，选择组件跳转，如图： 

在此页面中可以配置被跳转页面的打开方式，以及跳转哪个页面，如图： 

也可以添加条件对跳转时的数据做出过滤，如图： 

此时，点击保存即可完成组件穿透的配置，效果如图： 

4.3组件联动 

本次组件联动以财务主题做出阐述，选择组件联动页面，添加需要关联的组件，本次以组织做出分类查看，如图： 

在对应的组件中，配置组织的过滤条件，根据组织做出数据过滤，如图： 

如此，可完成组件联动的配置，点击左侧组织树，右侧各组件可根据被点击的组织做出数据过滤，效果如图： 

5工作总结 

本次工作核心内容便是通过各种组件完成数据可视化的配置，数据可视化配置的完成可以使数据非常直观地展现在企业眼前，企业可以非常方便的根据图形分析过去某时间段企业的发展趋势，去规划未来的发展方向。 

5.1功能总结 

现如今有许多公司都在做数据分析以及数据可视化，相较于DAP而言，其余公司的数据可视化产品不能保障数仓中数据的质量；而DAP产品做出了创新，在产品中增加了数据地图、血缘分析、影响分析等一系列功能充分保障数仓中数据的质量；同时DAP可以与公司内部其他产品：MDM、ESB共同构成数据中台方案，由于这些产品都是公司自有产品，可直接在产品底层实现元数据共享，这也正是数据中台与传统数仓之间的区别。 

5.2后续规划 

目前公司预置样例中DAP+ESB预置样例正在开发完善中，对于DAP产品中的可视化组件或是功能还存在部分没有覆盖到，在后续样例开发完成后，样例的使用者可以快速的去学习、掌握DAP产品中各种功能的使用方式，同时可根据样例去了解实际项目中，从数仓构建到后续可视化配置的具体操作过程，为项目工作打下基础。 

5.3总结归纳 

DAP数据分析平台与市面上BI产品相比强化了数据质量和数据服务，功能菜单顺序就是跟数据处理、模型配置、数据应用模式一致符合用户心智，操作便利、预置多辆样例数据，便于快速上手掌握。在DAP中完成元数据定义后，可在ESB数据服务总线中自动生成数据采集、清洗、转换等流程，同时DAP中的调度资源自动完成关联，进行调用操作，完成数据从业务系统到ODS、再到多层数仓等一系列数据加工构建操作。 

在数据加工处理进入数仓后，构建的分析模型（数据集、立方体）可以直接发布成数据服务，还可以通过配置可视化组件，可以完成多端（大屏、Web端/PC端、移动端）、多导航数据可视化展示，企业可基于大屏、Web端/PC端、移动端来监控当前运营情况、穿透分析历史经营情况、探索企业的未来发展趋势等，便于对当前工作做出调整，对未来发展做出预测，让企业内大量的历史数据发挥价值；由于DAP会结合MDM实现各业务系统和数仓的维度基础数据全局一致性，且从ODS同步至数仓的数据做出质量校验处理机制，保障了最终呈现在企业前的数据是准确的，从而让DAP数据分析平台真正起到辅助领导决策的作用。