DAP数据调度功能说明

Posted 2022-02-20 数通畅联

科技飞速发展的时代，企业信息化建设会越来越完善，越来越体系化。当今数据时代背景下更加强调、重视数据的价值，以数据说话，通过数据为企业提升渠道转化率、改善企业产品，实现精准运营，为企业打造自助模式的数据分析成果，以数据驱动决策。

无论是现在的互联网企业，还是传统型企业，都需要数据分析。公司需要决定前进方向或者推出某种新型产品，都需要数据分析来将数量庞大且凌乱的数据整合汇总，从而得出有用的信息，判断出前进的方向。

1整体介绍

通过不同的产品组合来解决不同公司面临的企业困难，帮助企业建立一整套统一、规范的IT架构标准体系，包括数据规范、服务规范、流程规范、界面规范、接口规范等，彻底解决公司当前面临的信息孤岛问题，有利于提高效率和降低公司成本。

1.1产品体系

首先介绍下我们数通畅联的产品体系：

数通畅联的所有产品都是通过K8S云平台进行部署搭建产品环境的，通过不同的产品组合方案来解决企业面临的不同信息化困境，帮助企业完善信息化发展。 

DAP数据分析平台通过与ESB应用集成平台结合，使用场景主要是通过配置调度任务，通过执行调度任务调用ESB数据同步流程，实现数据的采集、抽取、转换、传输、调度等操作。基础数据为DAP提供同源且标准、一致的数据保障分析数据的准确性。 

1.2产品说明 

数据分析平台是一款能够高效存储、计算、分析并处理海量数据的数据分析产品，能够真实、准确、清晰、有效的将企事业内部及行业外部相关数据进行可视化展现，帮助企事业提升行业洞察力，加强决策力，从而提升整体竞争力。 

数据分析平台功能有： 

1.数据来源（应用系统定义、数据源头配置、ODS数据定义）数仓模型。 

2.数仓模型（业务主题、维度配置、事实配置、模型配置、指标配置）。 

3.数据调度（调度资源、调度任务、调度资源）。 

4.分析模型（数据集配置、立方体配置、多维度分析、业务类报表）。 

5.展现模型（导航管理、组件管理、展现主题、装饰管理）。 

6.统计分析（数据地图、质量分析、血缘分析、影响分析）。 

7.系统管理（组织管理、角色管理、人员管理、功能管理、编码类型、编码管理、系统日志）。 

1.3功能说明 

数据调度这个功能主要是提供传输的效率，通过数据血缘把相关数据拉取到数仓、模型、数据集、数据实例中。启动并执行相对应的调度流程可以实现同步不同数据表之间的数据，然后还可以查看调度流程的日志和设置全局变量等。 

  

创建数据调度流程的方式，不仅可以用DAP平台新增调度流程，还可以使用ESB设计器创建三种调度流程，分别是业务源到ODS中间库的调度流程、数据集加工的调度流程和立方体加工的调度流程，然后可以在每个流程的各个节点中设置数据源、映射等信息，最后也是到DAP平台查看并启动执行这些流程完成同步数据的功能。 

2业务场景 

通过上述功能介绍把调度分为调度资源、调度任务、调度日志，下面依次进行介绍。 

2.1调度资源 

调度资源是通过业务系统到ODS、ODS到维度表或者基础事实表，维度表或者事实表到汇总事实表进行配置调度资源，不同同步类型配置是不同的调度资源。 

2.2调度任务 

  

DAP调度任务调度资源通过业务逻辑组成一个任务，通过调度任务来同步调度资源相关的表，其中包括自动生成任务功能、手动生成任务功能、同步按钮功能开发、定时同步功能开发和调度任务功能相关业务逻辑等。 

2.3调度日志 

DAP调度日志是调用同步时候进行回写日志，统计失败的任务信息，包括调度资源信息，调度日志是通过ESB调用执行调度资源，同步数据情况的回写日志，可以查看到对应任务是否执行成功还是失败。 

3调度资源 

通过以上业务场景了解调度资源是做什么的，然后通过以下功能说明、数据模型、功能展现来进一步了解调度资源功能。 

3.1功能说明 

调度资源是单表列表功能，是通过ODS选择流程同步、维度表配置和加工事实表后，通过ESB创建同步资源流程后，ESB调用创建调度接口所生成的调度资源，也可以直接到调度资源中新增一个调度资源，然后配置ESB生成流程服务。 

3.2数据模型 

调度资源表：dap_sche_cfg： 

3.3功能展示 

ODS中选择同步类型为同步流程类型，然后就可以选择调度资源，或者生成ESB流程时候自动生成调度并且插入到对应表字段中。 

ESB调用根据DAP配置生成相关调度流程： 

调度资源列表页面： 

调度资源详情页面： 

4调度任务 

生成调度后就要通过调度任务执行这些调度，通过以下功能说明、数据模型、功能展现来进一步了解调度任务功能。 

4.1功能说明 

调度任务是通过选择数据模型来批量选择调度资源的，因为数据模型天然一个业务分组，然后通过不同方式执行调度，把想要的数据同步到对应的表中，执行的时候通过调度间隔时间来判断这个资源是否最近执行过，如果执行过就不需要执行避免做一些无用功，提供同步效率。 

1.自动调用：通过定时配置，自动触发任务。 

2.手动调用目前有调度任务功能，通过调度任务执行调度资源。 

3.事件调用：组件进行执行调度资源或者刷新看板页面调用所有相关的调度资源。 

(1)首先通过血缘分析来判断组件关联了哪些调度资源。 

(2)然后分别执行这些调度资源进行更新数据。 

(3)看板页面也是一样，通过血缘分析来判断来源的调度资源。 

(4)执行这些调度资源进行更新数据。 

(5)通过执行时间来判断，如果超过阈值才执行这个调度资源，没超过就不执行。 

4.接口调用是通过rest接口方式执行调度资源。 

(1)接口入参为：调度任务ID。 

(2)接口出参为：成功/失败，如果失败返回错误信息。 

4.2数据模型 

调度任务表：dap_sche_task 

4.3功能展示 

选择一条数据，点击执行调度任务 。

点击一个组件的刷新按钮，执行这个组件实例相关的数据调度资源。 

点击右侧下拉选项页面刷新，执行整个看板页面的调度资源。 

调度接口调用 

入参为： 

出参为： 

新增调度任务，触发类型选择定时，配置定时设置，启用后就会按照定时阈值进行自动调用了。 

(1)默认固定类型只能选择模型，如果想添加补充类型补充调度资源。 

(2)固定类型和补充类型调度资源要演示分开。 

(3)选择模型后提示没有创建调度资源的事实表或者维表。 

点击批量添加，可以选择模型，模型根据血缘分析进行选择模型中关联的相关调度资源，进行快速添加。 

  

5调度日志 

调度任务创建后通过自动、手动、事件执行都会执行ESB流程，而ESB流程把调用情况反馈给DAP进行回写日志，以下通过功能说明、数据模型、功能展现来进一步了解调度日志功能。 

5.1功能说明 

调度日志是通过ESB调用执行调度资源，同步数据情况的回写日志，可以查看到对应任务执行成功还是失败，双击进入详情页面是任务的基本信息，还有任务关联的调度资源，标签了哪些调度资源没有成功。 

1.调度日志：不同主题有不同的调度日志。 

2.日志接口：调度日志回写接口，ESB调用失败时候调用。 

5.2数据模型 

调度日志表：dap_sche_log 

5.3功能展示 

列表不显示调度编码、调度名称，显示调度任务编码及名称 。

6总结分析 

无论是现在的互联网企业，还是传统型企业，都需要数据分析。公司需要决定前进方向或者推出某种新型产品，都需要数据分析来将数量庞大且凌乱的数据整合汇总，从而得出有用的信息，判断出前进的方向。 

6.1数据分析 

数据分析在企业经营分析中，共有三大作用，下面为你进行讲述。 

1.现状分析：现状的含义大概可以从两点来看，第一，就是已经发生的事情；第二，就是现在所发生的事情。通过分析企业的整体运营情况，明确公司的现状，而现状则可以通过基础的周报或月报来进行分析。 

2.原因分析：如果通过第一点，了解了企业存在某种隐患，则需要去分析该隐患。 

3.预测分析：分析了现状，也分析了原因，接下来就需要预测。通过现在掌握的数据，来预测接下来的发展趋势等。 

6.2数据调度 

数据调度作用是把从业务系统到ODS，从ODS到维度表或者事实表、事实表加工处理里的数据进行一次抽取工作，帮助数仓快速创建，调度过程也是支持清洗校验的过程，帮助数仓数据更加完整准确，使数据分析更加真实有效，帮助企业领导掌握过去企业整体的运营情况，分析现在所存在的隐患，预测未来公司的发展趋势。 

6.3产品发展 

产品要从功能性、易用性、开发性、扩展性、高性能、稳定性、美观性等不同角度来扩展迭代产品，通过到项目中去，在再从项目中来。通过客户的需求筛选选择出产品需要的，进而升级产品功能，增强产品的功能性，通过不同项目来深度了解行业，预制样例通过不同产品组合来快速搭建，使我们在做项目时更加敏捷。 

产品不管怎么发展都是一个目的，就是解决每个阶段企业面临的困境，帮助企业完善信息化发展，能够抓住每个企业的痛点，这样才能体现出产品的价值。一款优秀且稳定的产品可以帮助工作人员快速而方便的工作，大大提高工作效率，也会让客户满意，增加客户对公司的信任度。