DAP统计分析功能说明

Posted 2022-02-27 数通畅联

科技飞速发展的时代，企业信息化建设会越来越完善，越来越体系化。当今数据时代背景下更加强调重视数据的价值，以数据说话。通过数据为企业提升渠道转化率、改善企业产品、实现精准运营，为企业打造自助模式的数据分析成果，以数据驱动决策。

数据分析，无论是现在的互联网企业，还是传统型企业，都需要数据分析。公司需要决定发展方向或者推出某种新型产品，都需要数据分析来将一些凌乱的数据进行整合汇总，从而判断出具体的方向。

1整体介绍

可以通过不同的产品组合来解决不同公司面临的企业困难，帮助企业范围内建立起一整套统一、规范的IT架构标准体系：包括数据规范、服务规范、流程规范、界面规范、接口规范等，彻底解决了当前面临的信息孤岛问题，有利于提高效率、降低成本。

1.1产品体系

首先介绍一下我们数通畅联的产品体系：  

数通畅联的所有产品都是通过K8S云平台进行部署搭建产品环境，通过不同的产品组合方案来解决企业面临的不同信息化困境，帮助企业完善信息化发展。

DAP数据分析平台通过与ESB应用集成平台结合，使用场景主要是通过配置调度任务，通过执行调度任务调用ESB数据同步流程，实现数据的采集、抽取、转换、传输、调度等操作，基础数据为DAP提供同源标准的、一致的数据，保障数据分析分析数据的准确性。

1.2产品说明

数据分析平台是一款能够高效存储、计算、分析并处理海量数据的数据分析产品，能够真实准确、清晰有效的将企事业内部及行业外部的相关数据进行可视化展现，帮助企事业提升行业洞察力，加强决策力，从而提升整体竞争力。

数据分析平台功能有：

1.数据来源（应用系统定义、数据源头配置、ODS数据定义）数仓模型。

2.数仓模型（业务主题、维度配置、事实配置、模型配置、指标配置、规则校验、阈值规则、质量日志、通知日志）。 

3.数据调度（调度资源、调度任务、调度资源）。 

4.分析模型（数据集配置、立方体配置、多维度分析、业务类报表）。 

5.展现模型（导航管理、组件管理、展现主题、装饰管理）。 

6.算法模型（算法配置、标签管理、算法日志）。 

7.统计分析（数据地图、质量分析、血缘分析、影响分析）。 

8.系统管理（组织管理、角色管理、人员管理、功能管理、编码类型、编码管理、系统日志）。 

1.3功能说明 

本次扩展的是统计分析功能。统计分析会串联DAP的整个生命周期，通过统计分析功能可以清晰看到每个功能、每个操作步骤，把整体功能关联关系表达出来，本次扩展的功能有数据地图、血缘分析、影响分析、质量分析。 

  

1.数据地图：主题下所有资源的个数。 

2.血缘分析：查看每个所用的表和字段的来源信息。 

3.影响分析：查看每个所用的表和字段的所用的位置信息。 

4.质量分析：数仓数据清洗质量统计。 

2功能介绍 

通过上述功能说明，我们知道了本次DAP扩展的功能（数据地图、血缘分析、影响分析、质量分析），下面通过图文解析每个功能的特点。 

2.1数据地图 

数据地图是查看各个主题下的资源个数，通过资源找到对应关联的所有信息。 

  

2.2血缘分析 

血缘分析是对其来源进行查询，通过血缘分析能够清晰的查询到配置所用字段来源自哪些表、哪个来源系统。 

2.3影响分析 

影响分析是对所用的功能进行查询，比如一个模型它有哪些数据集立方体使用，然后它用到了哪些导航、哪些页面、哪些组件实例，从而分析它们的关联关系。 

2.4质量分析 

质量分析是通过ESB进行调度维度表和基础事实表数据的时，校验出错所插入日志进行图表化统计分析，帮助数仓人员快速找到错误点，及时调整减少工作量。 

  

3数据地图 

数据地图是查看各个主题下的资源个数，通过资源找到对应关联的所有信息。 

3.1功能说明 

数据地图根据不同模块统计图标（应用系统、ODS、维表、事实表、数仓模型、数据集、立方体、报表、多维分析、导航、页面、主题、组件、组件实例等的个数），点击图片跳转到列表页面，在点击弹出影响支脉图。 

3.2技术要点 

通过主题查询对应主题下的业务系统、ODS表、维度表、事实表、数仓模型、立方数据集、导航、页面个数、组织资源、页面主题、组件实例的个数。 

还有根据下面两个表进行影响关联的表：     

ODS关联数仓表关联模型表:  

模型关联数据集组件实例表： 

3.3功能展示 

数据地图首页：左侧是主题树，右侧是不同主题下面的业务系统、ODS个数，数据模型、维度表、基础事实表、汇总事实表、立方体 数据集、导航菜单、组件资源、组件实例、页面统计、页面主题卡片统计。 

统计卡片要重新找一个美观的。 

点击卡片“查看更多”，不同的列表页面表格统计。 

双击或点击“查看引用”按钮，弹出影响支脉图： 

  

4血缘分析 

血缘分析是对其来源进行查询，通过血缘分析能够清晰的查询到配置所用字段来源自哪些表、哪个来源系统。 

4.1功能说明 

血缘分析：进入右侧是主题树、左侧血缘关系图（中间是模型、下面是应用系统、上面是数据表，点击应用系统，下面是数据表，点击数据关系图上面高亮显示，点击数据表，下面列表显示字段，双击字段弹出影响支脉图）。 

4.2技术要点 

在创建ODS时候插入下面表里一条信息（逻辑主键、ODS的ID）。在数仓建设时更新这个表（维度表ID或者事实表ID、数仓资源类型），然后创建模型的时更新下面表组件（模型ID）。 

ODS关联数仓表关联模型表:  

4.3功能展示 

血缘分析主页面属于列表页：左侧是主题树、右侧是分析模型。 

右侧显示模型，显示字段：模型编码、模型名称、模型分组、来源表个数、来源字段个数。 

点击模型进入分析页面：左侧是不同主题树，右侧是血缘关系图，点击分析模型进入分析首页展现形式采用血缘关系图的方式： 

1.中间是对应分析模型。 

2.下面是来源应用系统。 

3.上面是模型关联的数据。 

点击应用系统下面是对应的关联数据表对象信息。 

1.点击数据表关系图上面的数据表高亮显示。 

2.点击上面数据表，下面显示对应表的字段信息。 

3.选择一条数据表然后点击查看引用按钮，弹出影响支脉图。 

  

5影响分析 

影响分析是对其所用的功能进行查询，比如一个模型它有哪些数据集立方体使用，然后它有哪些导航、哪些页面、哪些组件实例所用到，从而分析它们的关联关系。 

5.1功能说明 

影响分析：进入右侧是主题树、左侧影响关系图（中间是模型、下面是立方体、上面是页面，点击立方体，下面是2个标签，一个是立方体字段、一个是数据集字段，点击页面，下面显示的是组件双击字段或者组件弹出影响支脉图，点击不同显示不同支脉）。 

5.2技术要点 

在创建模型时插入下面表里的一条信息（逻辑主键、模型ID）。然后通过数据集选择模型更新这个表（数据集ID），然后组件实例选择组件数据集的时更新下面表组件（组件实例ID）。 

模型关联数据集组件实例表： 

5.3功能展示 

影响分析主页面属于列表页：左侧是主题树、右侧是分析模型。 

右侧显示模型，显示字段：模型编码、模型名称、模型分组、页面个数、组件实例个数。 

点击模型进入分析页面：左侧是不同主题树，右侧是血缘关系图，点击分析模型进入分析首页，展现形式采用影响分析关系图的方式： 

1.中间是对应分析模型。 

2.下面是立方体。 

3.上面是页面。 

点击立方体下面的立方体字段和数据集信息对象信息。 

点击上面数据表，下面显示对应表的字段信息。 

选择一条数据表然后点击查看引用按钮，弹出影响支脉图。 

  

6质量分析 

质量分析是通过ESB进行调度维度表和基础事实表数据时，规则校验出错所插入日志进行图表化统计分析，帮助数仓人员快速找到错误点及时调整，减少工作量。 

6.1功能说明 

质量分析分为两方面：一方面是维度和事实表配置校验继续，另一方面是回写日志。 

1.质量分析首先要配置质量规则，所以要添加一个规则校验功能。 

2.规则校验定义校验规则，然后在数仓字段配置中配置校验规则。 

3.然后通过调度同步数据时进行校验规则处理，然后把报错信息存储到日志表中。 

4.通过日志表进行质量分析，查看同步情况。 

6.2技术要点 

维度表和基础事实表通过ESB抽取数据时进行规制校验时，通过下面的接口插入日志，然后通过质量分析查看校验情况： 

质量日志接收接口： 

1.创建一个rest服务。（新创建一个日志接收接口服务） 

入参为：json数据 

出参为： 

6.3功能展示 

1.质量左侧是主题树、右侧是质量汇总、校验失败汇总、重复数据汇总情况。 

2.点击图表跳转到质量日志页面。 

7心得总结 

数据分析，顾名思义就是数据加分析。也就是说必须要以数据为先，分析为后。对收集来的大量一手资料和二手资料进行分析，以求最大化地开发数据资料的功能，发挥数据的作用。为了提取有用信息、形成结论而对数据加以详细研究和概括总结的过程。 

7.1统计分析 

本次统计分析的数据地图、血缘分析、影响分析这三个功能的作用，统计数仓数据、数据资产的盘点，查看数仓建设全生命周期，了解建设东西把握它们的关联关系，从而保障数仓建设的完整性、正确性，提高数据分析的价值，帮助企业有效进行决策分析。 

7.2数据分析 

数据分析在企业的经营分析中共有三大作用，下面为你讲述。 

1.现状分析：现状的含义大概可以从两点来看，第一就是已经发生的事情；第二就是现代所发生的事情。通过分析企业的整体运营情况，明确公司的现状，而现状，则可以通过基础的周报或月报来分析。 

2.原因分析：如果通过第一点，了解了企业存在某种隐患，则需要去分析该隐患。 

3.预测分析：分析了现状，也分析了原因，接下来就需要预测。通过现在掌握的数据，来预测接下来的发展趋势等。 

7.3产品发展 

产品要从功能性、易用性、开发性、扩展性、高性能、稳定性、美观性不同角度来扩展迭代产品，通过到项目中去，再从项目中来，从客户的需求中筛选出我们产品需要的功能，进而升级产品功能，增强产品的功能性，通过不同项目来深度了解行业，预制样例通过不同产品组合来快速搭建，使我们做项目更加敏捷。 

产品不管怎么发展都是一个目的，就是解决每个阶段企业面临的困境，帮助企业完善信息化发展，能够抓住每个企业的痛点，这样才能体现出产品的价值。一款好且稳定的产品可以帮助工作人员快速方便的工作，大大提高了工作效率，也会让客户满意，增加客户对公司的信任度。