DAP数据分析平台应用过程梳理
Posted 数通畅联
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了DAP数据分析平台应用过程梳理相关的知识，希望对你有一定的参考价值。
随着企业发展和信息化建设，初步搭建企业整体IT框架后，业务系统所产生的数据也在逐渐增多，通过系统数据挖掘数据价值，促进业务升级已成为企业信息化发展的必经之路。与传统手动报表汇报不同，通过构建数据分析平台进行可视化分析与数据展现，能够快速获取公司第一手资料并协调相关人员进行工作配合。
DAP数据分析平台是公司的核心产品之一，不仅可以对数据进行分析展现，还可以通过DAP构建企业数据仓库，将企业数据进行数据聚合、加工汇总。数据加工后可通过DAP预置组件进行数据可视化配置， DAP还可通过指标阈值的配置、分析数据的对外发布，让数据更能体现出对应的价值。本文将介绍DAP的数据获取、数据加工、模型创建，并通过数据分析平台对分析数据进行数据可视化配置。
1总体介绍
DAP数据分析平台是一款数据分析产品，通过采集各个业务系统的业务数据，构建企业数仓。在构建数仓的过程中筛选表数据与表字段，最终通过数仓加工汇总构建企业的数据中心，能够真实、准确、清晰、有效的将企业内部及外部行业数据进行可视化展现，帮助企业提升行业洞察力，加强决策力，从而提升整体竞争力。
1.1整体架构
DAP数据分析平台支持源库读取、流程同步和接口同步三种方式将业务数据抽取同步至ODS，在数据同步至ODS后通过ESB进行数仓数据汇总，将维度数据与业务数据分别同步至维度表和基础事实表中，最后通过ESB进行汇总事实表加工。
ODS数据同步流程如下：
1.源库读取：源业务系统使用从库，将从库注册到DAP中；
2.流程同步：DAP结合源头系统提供的数据获取接口，通过ESB生成调度流程对数据进行拉取同步；
3.接口同步：业务系统调用ODS接口进行数据同步。
数仓数据转换与数据汇总加工流程如下：
1.源头数据录入ODS中后，在转换到数仓时会分为维度数据和业务数据；
2.不同类型数据会分别录入进对应的数仓中，维度数据会转换为维度表，业务数据会转换为基础事实表；
3.基础事实表和维度表会进行汇总聚合，如：求和、计数、累加等；
4.后续的模型建设将会调用汇总事实表进行配置。
1.2数仓架构
数仓作为一个数据存储的“仓库”，其本身并不会生产业务数据，同时自身也不会对数据进行消费，数仓的数据均来源于其他业务系统，并在数据加工、汇聚、转换的过程中将数据通过接口形式开放给外部系统，数据仓库的特性在于面向各个主题，并具有集成性、稳定性和时变性的特点。
数仓架构具体分为ODS中间层、数仓层、分析层，数仓层具体细分维度层、DWD层及DWS层，具体作用如下：
1.ODS中间层：用来存储多个数据源业务数据的系统，其数据用来支持业务流程或者输入到数据仓库中进行分析，实现操作型数据存储，是一种面向主题的、集成的、可变的、反映当前数据值和详细数据的集合。ODS是数据仓库体系结构中的一个可选部分，具备数据仓库的部分特征和OLTP系统的部分特征；
2.DWD细节数据层：是业务层与数据仓库的隔离层，主要实现对ODS数据层数据清洗和规范化的操作；
3.DWS数据服务层：基于大量指标的数据层基础数据进行整合汇总，分析某一个主题域的服务数据层，一般是宽表，用于提供后续的业务查询；
4.DIM维度层：建立一致数据分析维表，可以降低数据计算口径和算法不统一的风险。以维度作为建模驱动，基于每个维度的业务含义，通过定义维度及维度主键，添加维度属性、关联维度等定义计算逻辑，完成属性定义的过程并建立一致的数据分析维表，进一步保证维度的一致性和使用便捷性。
5.ADS数据分析层：将需要分析的业务数据和维度数据进行整合，创建相应数据集、立方体的分析模型，根据数据集和立方体创建多维度分析和业务类报表，分析模型并通过DAP内置的组件进行数据可视化展现配置。
1.3数据架构
DAP在数据分析过程中通过抽取源头系统的业务数据与相关的维度数据，通过ESB企业数据总线对数据进行加工汇总，通过业务系统—>ODS，ODS—>数据仓库，数据仓库加工汇总后对业务指标整合分析，最终进行可视化展现：
1.由业务系统提供业务数据，ESB通过数据集成、业务系统接口调用或者DAP通过读取源库等方式，将源头系统的业务数据抽取到ODS中，一般会从相关业务系统或主数据管理系统中，获取分析时所需的标准维度数据；
2.ODS中的基础数据、业务数据，通过ESB的聚合流程按照类别汇聚到数仓的维表或事实表中；
3.维表与事实表中的数据根据业务主题、业务指标，再次进行加工汇总，形成数仓中的汇总事实表；
4.DAP的分析模型根据汇总数据进行整合计算；
5.结合分析模型整合计算的数据与DAP预置的展现组件，形成直观的图形、图表展现，最终配置成各类展现看板、报表等，完成可视化效果的最终呈现。
2分析展现
为了更好地了解数据分析平台的应用过程，本次以“项目营收情况”作为样例，项目营收情况主要分析项目的营收目标、营业额、营收达成率等，下面针对项目营收情况进行相应的指标分析、指标的最终样式展现，并介绍相应的配置流程。
2.1指标分析
项目营收情况主要包含指标如下：
1.本月目标（根据项目作为维度，提供每月的项目营收目标，最终选择其中一个月份的数据作为本月目标）
2.本月营收（根据项目作为维度，提供每月的项目营收数额，最终选择其中一个月份的数据作为本月营收）
3.月度目标达成率（本月营收/本月目标*100%，最终得出本月的目标达成率）
4.年度目标（以项目作为维度，年度目标为一个固定值不需要进行变更调整）
5.年度营收（以项目作为维度，将每一月的项目营收目标进行累加）
6.年度目标达成率（年度营收/年度目标*100%，最终得出年度的目标达成率）
2.2样式展现
根据指标分析中的数据，项目营收情况最终在页面中展示效果如下：
本次根据数据分析的一级看板进行项目营收情况分析，所以展现数据为整体公司的营收情况。
2.3配置流程
如果想要配置对应的卡片格式，首先需要去分析指标构建时所需要的业务表、维度表，通过ESB进行数据的集成，在ODS中通过ESB进行数据加工，分别进行维表数据、基础事实表的数据转换，最后将维度数据与业务数据进行数据的汇总加工。
ODS中的数据通过ESB将数据同步至维度表和基础事实表中，通过SQL进行汇总事实表的加工汇总。
汇总事实表数据加工完毕后，创建对应的数据模型、由数据模型创建分析模型，配置数据集合立方体，最终由对应组件引用立方体后，通过行转列进行数据的可视化配置。
3数据加工
DAP在通常情况下只对数据进行消费，所以在数据获取及数据加工过程中，相关的业务数据或基础数据都会从其它业务系统中抽取，通过企业数据总线对业务数据及基础数据进行数据的加工或数据同步，最终将基础数据作为分析维度，业务数据作为分析值进行效果展现。
3.1业务系统到ODS
ODS的数据来源于不同的业务系统，通过数据分析模块可以将需要分析的业务数据以表的形式注册到ODS库中，ODS支持源库读取、接口同步、流程同步三种数据抽取方式。
1.源库读取
DAP数据分析平台对于需要分析的业务数据不做数据生产，只进行存储。所以DAP的数据都是从各个源头系统中抽取获得的。源头系统如果需要通过源库读取的方式提供数据，那么业务系统需要在数据中台中注册。通过这种方式注册的数据表在发生变更后，DAP会实时获取到变更信息。
2.接口同步
当DAP创建了ODS表后将同步方式设置为接口同步，那么会在接收服务中生成对应接口，接口地址如下：
将接口提供至业务系统后，业务系统发生数据变更调用提供的接口将数据写入到对应的ODS表中。
3.流程同步
由源头系统将业务信息表注册至DAP中，DAP通过注册的表信息进行参考表创建，ODS同步方式选择流程同步后，就可以选择调度资源，或者生成ESB流程时候自动生成调度并且插入到对应表字段中。
业务系统也可以提供数据查询接口，DAP手动创建ODS表，通过ESB进行数据集成，但是源头系统提供的接口每次调用时需要提供新增或变更的数据，由ESB调用源头系统提供的接口获取变更数据写入ODS表中。
3.2数仓数据同步
DAP通常是按照主题进行数据分析，而在数据分析平台上线过程中，可能会遇到企业上线的业务系统已经具有部分的数据分析功能，这个时候如果需要进行数据分析可以直接进行数据抽取，而更多地情况是企业并没有对应的数据分析功能，甚至还停留在线下的报表填写，而这时针对填写的报表和指标需要去划分哪些是标准的维度数据、哪些是可以分析的业务数据。在梳理好后数据同步至ODS中，针对划分和区分同步至对应的维表或事实表中。
3.2.1ODS到维表
ODS中的数据同步至维表中的流程如下：
通过DAP配置维表后，在ESB生成对应的加工流程，在DAP中通过配置定时的方式调用数据的加工流程，通过时间戳获取该时间段内的变更数据并进行数据的映射，最终将ODS的数据信息同步至维表中。
3.2.2ODS到基础事实表
ODS中的数据同步至基础事实表中的流程如下：
通过DAP配置基础事实表后，在ESB生成对应的加工流程，在DAP中通过配置定时的方式调用数据的加工流程，通过时间戳获取该时间段内的变更数据并进行数据的映射，最终将ODS的数据信息同步至基础事实表中。
3.3汇总事实表加工
汇总事实表是根据基础事实表中的维度横向合并或者纵向汇总生成，基础事实表表中的维度通常包含组织维度、项目维度、日期维度等，汇总事实表汇总计算方式根据业务规则、分析指标、展现方式等进行制定，基于DAP数据分析平台元数据配置自动在ESB生成数据集成流程，实现数据聚合。
4模型构建
汇总事实表数据加工完毕后，后续的模型配置将不会对数据进行变更和调整，所以后续模型使用的字段都会从数仓中获取。
数仓构建完毕后进行模型构建，通过数据模型和分析模型最终生成可视化分析所用的项目营收立方体。组件配置页面可以选择项目营收立方体进行数据可视化的配置。
4.1模型配置
汇总事实表汇总完毕后进行模型配置，后续的分析模型都是从数据模型中获取。
在模型配置页面创建一个新的模型：
保存后选择汇总加工好的营收情况汇总事实表：
保存后就可以在数据集中进行显示，如果选择生成任务会生成对应的任务加工流程：
加工任务可以将业务系统到ODS，ODS到数仓，汇总事实表加工的资源任务进行整合，可通过定时或手动的方式一次性执行整个加工流程：
4.2数据集配置
根据配置模型进行数据集的调整，找到对应主题下的模型数据：
在字段定义中可以选择需要的模型字段：
点击数据预览可以看到配置好的数据信息：
4.3立方体配置
根据数据集进行立方体的配置，通过维度和聚合函数进行配置，由于本次最终要在地产板块中进行展现，所以在地产主题中创建营收情况立方体：
立方体配置如下，维度信息为基本的分析维度：
度量中包含数据的求和、平均值、最大值和最小值，通过聚合方式进行立方体的配置：
也可以通过计算度量配置对应的指标计算方式：
数据预览如下：
5组件配置
立方体已经配置完后，进行数据的可视化展现，首先需要对页面的布局配置，并通过页面的布局配置相应的组件。页面布局完毕后进行组件设置，选择需要的组件信息最终进行数据可视化配置。
5.1页面布局
在配置组件前可以进行页面布局的调整，通过容器扩容或容器拆分达到自己想要的布局效果：
如下图将列容器拆分为两个部分：
每行就会出现三个列容器：
添加子容器即为在原本的容器基础上进行子容器扩充，列容器会扩充为行容器，行容器会扩展开列容器：
扩充的样式如下：
最终通过行列扩充，页面配置效果如下：
5.2组件配置
点击组件配置会进入组件配置页面，我们在中间部分进行组件的配置：
从左侧的横向九宫格中拖拽组件到对应的位置，保存后会出现对应的预置数据：
点击组件的蓝色齿轮图标并选择立方体：
在地产主题中找到营收情况立方体：
选择后先点击页面的保存，在点击父页面的保存：
由于我们的数据目前是通过横向存储，如果想要展现需要进行行转列的配置，将立方体中的汇总数据进行行列转换。
勾选行转列进行相应的配置：
配置情况如下：
配置完毕后点击关闭并刷新：
在数据过滤中可以通过表达式的方式对数据进行过滤，选择一个过滤月份作为静态数据，在数据过滤中配置默认月份：
5.3展现效果
组件配置完毕后，点击当前页面保存并对父页面保存：
营收情况组件最终展现的效果如下：
在其他组件全部配置完毕后，我们回到导航管理中进行数据预览：
切换到地产看板页面展示样式如下：
6数据应用
在上面介绍了整体的DAP数据加工过程、模型构建过程以及组件配置过程，而在DAP中数据不仅仅是用来展示的，还可以通过数据的阈值配置、数据的服务发布、DAP中指标的统计分析来进一步实现数据价值。
6.1指标阈值
指标阈值就是将数据集合立方体中配置加工的指标信息设置对应的阈值，在日常的数据集合立方体调用过程中，如果指标信息触发了配置的阈值，可通过短信、邮箱的形式为相关负责人发送信息，如营业额今年没有达到对应指标，那么会生成对应的警示信息发送至负责人手中。如果超过了既定目标的一定数值后，也可以通过这种方式向负责人发送祝贺。
6.2数据服务
数据服务就是将DAP中的ODS表、维表、事实表、数据模型以及分析模型通过对外发布服务的方式生成对应的接口信息，DAP在数据汇总计算的过程中会生成大量的模型和数仓，而通过生成对外发布的接口，其他系统可通过调用我们发布的服务接口将数据获取到他们的业务系统中，针对这些数据业务系统可自行进行数据使用。
6.3统计分析
统计分析会将DAP每类主题中的整体信息进行展现，通过数据地图的方式快速查看每类主题的数据使用情况：
质量分析可将数据的质量情况、校验情况、进行汇总统计：
影响分析可直观的查看到模型的引用情况：
通过血缘分析可直观地看到每个模型都是通过哪些数仓表进行汇总，而这些对应数仓中的数据来源系统又有哪些。
7分析总结
DAP中的核心内容就是进行企业的数仓构建，将企业的业务数据集中化管理，通过获取数仓信息构建相关的模型，最终完成数据可视化的配置，企业可根据配置好的可视化数据，快速直观地了解数据信息，通过分析历史数据，规划未来数据的趋势，快速明确企业的战略目标。
7.1产品剖析
DAP作为一款数据分析平台，其作用不仅仅是数据可视化，我们的DAP平台与市面上一般的BI平台不同， DAP数据分析平台更侧重数据聚合以及数据的加工汇总，平台预置有数据源注册、ODS注册与管理、数仓配置与数据聚合，从而实现企业业务数据的统一，构建企业统一的、标准的、完整的数据仓库，而数据展现、数据分析、数据报表可以为外部系统数据交互提供支持。
7.2方案组合
我们公司的产品特点是可以与其他产品快速组合，通过不同组合、不同产品的侧重点不同能够组合出对应的解决方案。DAP一般都会与ESB相互结合实现数据获取与加工汇总，如果在与我们公司的MDM主数据管理平台结合就可以形成数据中台解决方案，通过MDM将企业内部的基础数据标准化、规范化、整合化后，由DAP进行数仓建设以及最终的数据分析和可视化展现，ESB通过数据集成完成整个数据中台的主数据同步分发和数仓的数据抽取汇聚。
7.3认知提升
对于现如今的大多数企业，都堆积了大量历史数据，这些历史数据存在极大的挖掘价值，通过对这些数据进行加工、汇总、分析、展现等步骤可以使企业的管理决策者不必依靠他们的直觉做出判断，一切以展现出的数据为准，DAP可以很好的实现此类需求。
但对于绝大多数的企业来说DAP的数据分析平台建设并不是一蹴而就，这个建设是一个持续的、动态的过程，其实DAP数据分析平台面向的也不仅仅是领导层和决策层，真正能将数据分析平台运用起来是需要靠项目团队与企业之间相互配合，做到所有用户都能用、都会用、都想用。只有了解到每个用户对数据分析的需求痛点，有针对性的去解决这些问题，让客户认可DAP的价值，才能真正帮助企业实现数字化转型。
以上是关于DAP数据分析平台应用过程梳理的主要内容，如果未能解决你的问题，请参考以下文章