数据仓库 Azkaban调度器

Posted 2020-12-14 noyouth

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了数据仓库 Azkaban调度器相关的知识，希望对你有一定的参考价值。

GMV指标获取的全调度流程

import.job文件，第一步，从mysql导入数据

type=command
do_date=${dt}
command=/home/atguigu/bin/sqoop_import.sh all ${do_date}

ods.job文件

type=command
do_date=${dt}
dependencies=import
command=/home/atguigu/bin/ods_db.sh ${do_date}

dwd.job文件

type=command
do_date=${dt}
dependencies=ods
command=/home/atguigu/bin/dwd_db.sh ${do_date}

dws.job文件

type=command
do_date=${dt}
dependencies=dwd
command=/home/atguigu/bin/dws_db_wide.sh ${do_date}

ads.job文件，本例以GMV指标获取的全调度流程为例，只执行一个ads_db_gmv.sh脚本，完整的数据，应该有多个ads层业务脚本并行执行。

type=command
do_date=${dt}
dependencies=dws
command=/home/atguigu/bin/ads_db_gmv.sh ${do_date}

export.job文件，最后一步，导出到mysql

type=command
dependencies=ads
command=/home/atguigu/bin/sqoop_export.sh ads_gmv_sum_day

以上是关于数据仓库 Azkaban调度器的主要内容，如果未能解决你的问题，请参考以下文章