DAP事实表加工汇总功能应用说明

Posted 2022-06-15 数通畅联

科技飞速发展的时代，企业信息化建设会越来越完善，越来越体系化，当今数据时代背景下更加强调、重视数据的价值，以数据说话，通过数据为企业提升渠道转化率、改善企业产品、实现精准运营，为企业打造自主模式的数据分析成果，以数据驱动决策。

数据分析，无论是现在的互联网企业，还是传统型企业，都需要数据分析。公司需要决定一些方向或者推出某种新型产品，就需要数据分析来将凌乱的数据进行整合汇总，从而判断出具体方向。

1整体介绍

通过不同的产品组合来解决不同公司面临的企业困难，帮助企业范围内建立起了一整套统一、规范的IT架构标准体系，包括数据规范、服务规范、流程规范、界面规范、接口规范等，彻底解决了当前面临的信息孤岛问题，有利于提高效率、降低成本。

1.1产品体系

首先介绍一下我们数通畅联的产品体系：

我们数通畅联的所有产品都是通过K8S云平台进行部署搭建产品环境，通过不同的产品组合方案来解决企业面临的不同信息化困境，帮助企业完善信息化发展。

DAP数据分析平台通过与ESB应用集成平台结合使用场景主要是通过配置调度任务，通过执行调度任务调用ESB数据同步流程，实现数据的采集、抽取、转换、传输、调度等操作，基础数据为DAP提供同源并标准的、一致的数据，保障数据分析分析数据的准确性。

1.2产品说明

数据分析平台是一款能够高效存储、计算、分析并处理海量数据的数据分析产品，能够真实、准确、清晰、有效的将企事业内部及行业外部相关数据进行可视化展现，帮助企事业提升行业洞察力，加强决策力，从而提升整体竞争力。

数据分析平台功能有：

1.数据来源（应用系统定义、数据源头配置、ODS数据定义）数仓模型。

2.数仓模型（业务主题、指标配置、维度配置、事实配置、模型配置）。

3.数据调度（规则校验、调度资源（同步资源、加工资源）、调度任务、质量日志、调度日志（同步日志、加工日志）、通知日志）。

4.分析模型（数据集配置、立方体配置、多维度分析、业务类报表）。

5.展现模型（导航管理、组件管理、展现主题、装饰管理）。

6.统计分析（数据地图、质量分析、血缘分析、影响分析）。

7.系统管理（组织管理、角色管理、人员管理、功能管理、编码类型、编码管理、系统日志）。

1.3功能说明

事实表功能分为基础事实表和汇总事实表，基础事实表来源是ODS中间库并且可以与维度表关联，汇总事实表来源是基础事实表或者汇总事实表。

  

本篇文档主要是事实表的汇总计算，事实表计算分为纵向汇总和横向汇总，纵向汇总是通过聚合函数SQL语句，纵向汇总事实表通过ESB结合调用DAP接口创建ESB预制的集成流程进行数据同步，横向汇总是通过汇总配置实现字段间的表达式计算。

2场景介绍

事实表的汇总计算，事实表计算分为纵向汇总和横向汇总，纵向汇总是聚合函数计算，横向汇总是字段表达式计算。

2.1功能介绍

基础事实来源是ODS和维度表，汇总事实表来源是基础事实表和汇总事实表，通过基础事实表进行聚合函数生成对应SQL语句，在通过ESB流程实现数据同步。通过横向汇总配置功能，配置出字段之间的表达式，再进行二次汇总计算，所以汇总计算类型分为纵向汇总、横向汇总。 

  

2.2纵向汇总 

纵向汇总事实表与ESB结合生成集成流程，实现数据同步，所以需要聚合函数SQL，事实表预制便捷的配置，通过事实表选度量字段配置不同的聚合函数，实现聚合SQL的生成。 

2.3横向汇总 

DAP数据集成功能分为业务系统到ODS、ODS到数仓、汇总事实表加工，其中汇总事实表加工是通过DAP配置度量（进行SQL汇总函数计算）同步到汇总事实表中，但是有些数据SQL不满足无法计算（比如：字段之间的计算），所以需要一个汇总计算功能。 

 

3纵向汇总 

汇总事实表加工是对维度表到汇总事实表或集成事实表到汇总事实表，基础事实表到汇总事实表是使用基础事实表数字类型字段，通过配置聚合函数生成对应SQL，通过ESB把对应数据同步到汇总事实表。 

3.1功能介绍 

在事实表处选择汇总事实表，然后在选择汇总类型，选择纵向汇总，配置维度表和基础事实表关联，配置字段聚合函数，然后通过配置生成对应SQL，然后通过功能配置通过ESB进行聚合函数SQL查询汇总，进行字段的映射更新到汇总事实表中。 

3.2功能配置 

1.选择汇总事实，选择纵向汇总，选择来源表，然后根据选择表进行字段导入。 

2.通过选择的来源进行字段导入，也支持手动添加，添加需要计算的度量字段。 

3.在字段配置中配置映射字段，如果是度量字段配置聚合函数。 

4.下面是预制的聚合函数： 

3.3功能应用 

配置完成后，在ESB生成汇总事实表加工集成流程，下面就是如何通过ESB生成对应流程，如图所示： 

1.选择汇总事实表加工： 

  

选择你要加工汇总的汇总事实表，选择后点击finish生成对应的流程。 

选择一个汇总事实表进行流程创建，会生成对应集成流程，流程根据汇总事实表配置生成对应的SQL语句查询对应数据，然后进行数据更新，构建日志计划，调用回写日志接口。 

上图所示，通过纵向汇总配置生成SQL如下： 

  

执行流程任务结果： 

 

4横向汇总 

横向汇总是对基础事实表或已经纵向汇总后的表进行二次汇总，因为纵向汇总只是在SQL中进行聚合计算，不能字段与字段之间汇总计算，所以添加一个汇总计算功能。 

4.1功能介绍 

DAP数据集成功能分为业务系统到ODS、ODS到数仓、汇总事实表加工，其中汇总事实表加工是通过DAP配置度量（进行sql汇总函数计算）同步到汇总事实表中，在通过横向汇总配置选择不同字段，进行字段之间的表达式计算，得出新的字段数据。 

4.2功能配置 

1.汇总事实表基础信息添加汇总类型：横向汇总、纵向汇总以及选择纵向汇总。 

2.配置完字段后，配置横向汇总，支持定时配置。 

3.定时策略配置，如下： 

4.编辑配置页面：选择对应字段，也可以选择预制的计算公式，进行配置表达式。 

5.点击放大镜图表弹出选择字段页面，利用其他字段进行表达式计算： 

 

6.点击计算公式，弹出选择预制好mvel计算表单试。 

 

4.3汇总计算 

1.横向汇总配置完成后支持发布成服务，也可以点击执行手动测试。 

2.点击发布，发布成一个服务，也可以点击执行进行调用汇总功能，进行汇总计算。 

点击执行后通过汇总配置DAP内部进行汇总计算，然后在同步到事实表中。 

5总结分析 

无论是现在的互联网企业，还是传统型企业，都需要数据分析。公司需要决定方向或者推出某种新型产品，就需要数据分析来将凌乱的数据进行整合汇总。 

5.1预算应用 

上述所讲的是事实表中进行汇总处理、表达式计算，帮助数仓快速创建，使数仓数据更加完整、准确，使数据分析更加真实有效，帮助企业领导掌握过去企业的整体运营情况。 

DAP算法模型功能，通过算法模型快速发现企业所存在的隐患，加强企业运转效率，预测未来公司的发展趋势，提高数据利用价值。 

5.2数据集成 

通过本次数据集成能够快速的帮助企业建设自己的数仓，帮助企业把凌乱的数据进行整合汇总，提升企业数据价值。为企业提供决策分析用的工具，帮助决策人员更好地制定企业策略，找出企业的潜在问题，提高客户满意度，最终提高企业竞争力。 

5.3产品发展 

产品要从功能性、易用性、开发性、扩展性、高性能、稳定性、美观性不同角度来扩展迭代每个产品，通过到项目中去，在再从项目中来，通过客户的需求筛选出我们产品需要的功能，进而升级产品功能，增强产品的功能性，通过不同项目来深度了解行业，预制样例通过不同产品组合来快速搭建，使我们做项目更加敏捷。 

产品不管怎么发展都是一个目的，就是解决每个阶段企业面临的困境，帮助企业完善信息化发展，抓住每个企业的痛点，这样才能体现出产品的价值，一款好且稳定的产品可以帮助工作人员快速而方便的工作，大大提高工作效率，也会让客户满意，增加客户对公司的信任度。