azkaban安装注意点

Posted 2023-02-27

参考技术A

1. 记得指定executor.port，不然当executor重启时，会重新分配一个port，这样会导致之前的再跑任务，怎么也取消不了，会生成“幽灵任务”

2. 如果并发跑的任务过多，建议开启Multiple Executor Mode

3. 为了任务能够正常运行，建议开启队列

配置如下：

1. 指定executor.port, executor.maxThreads,executor.flow.threads

2. 指定azkaban.webserver.url

配置如下：

先把azkaban的executor启动，如果是Multiple Executor Mode，就把部署了executor的每台机器上的executor启动

启动脚本如下

启动好azkaban的executor后,需要手动把每个executor进行激活；如下，host是每个executor所在主机名，port是executor指定的端口

前面四个步骤完成后，web server直接启动就可以

启动脚本