大数据调度平台 azkaban windows IDEA/eclipse debug 环境搭建

Posted zuoql

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据调度平台 azkaban windows IDEA/eclipse debug 环境搭建相关的知识,希望对你有一定的参考价值。

近些日子需要研究大数据调度平台azkaban源码, 发现只有 linux运行的脚本,也没有windows下面的脚本,下面是怎么搭建IEDA /eclipse debug运行环境步骤。其实也挺简单的,我整理了下,方便初学者快速上手调试 ,希望可以帮助到大家。

1. 下载azkaban 源码 ,并按文档说明 ./gradlew build

2.怎么debug azkaban-exec-server

在IDEA或eclipse 右键 azkaban.execapp.AzkabanExecutorServer 该类,然后运行/debug运行
在运行属性中设置:
VM options: -Dlog4j.configuration=file:E:aworkazkabanazkaban-masterconflog4j.properties -Dserverpath=E:aworkazkabanazkaban-masterazkaban-exec-serveruildinstallazkaban-exec-server
Program arguments: -conf E:aworkazkabanazkaban-masterconf

3.怎么debug azkaban-web-server

在IDEA或eclipse 右键 azkaban.webapp.AzkabanWebServer 该类,然后运行/debug运行
在运行属性中设置:
VM options: -Dlog4j.configuration=file:E:aworkazkabanazkaban-masterconflog4j.properties -Dserverpath=E:aworkazkabanazkaban-masterazkaban-web-serveruildinstallazkaban-web-server
Program arguments: -conf E:aworkazkabanazkaban-masterconf

注意:
1.我源码放在了E:aworkazkabanazkaban-master 目录下,大家改成自己源码目录就可以了

2.在 源码目录下新建个conf目录,放置azkaban conf 文件,我的目录放在E:aworkazkabanazkaban-masterconf
大家可以复制azkaban-masterazkaban-web-serversrcmain esourcesconf这里面conf文件到新建的conf目录里。

3.conf/azkaban.properties 里面的数据库连接记得修改成你自己的mysql数据库连接

azkaban.properties文件里面 记得配置下web路径

web.resource.dir=E:aworkazkabanazkaban-masterazkaban-web-serveruildinstallazkaban-web-serverweb

4.记得要设置运行属性VM options/Program arguments

5.大家还有什么疑惑或问题,可以留言讨论









以上是关于大数据调度平台 azkaban windows IDEA/eclipse debug 环境搭建的主要内容,如果未能解决你的问题,请参考以下文章

Azkaban 简介

大数据高级开发工程师——工作流调度器Azkaban

大数据开发:Azkaban和Oozie调度系统对比

大数据调度平台Airflow:什么是Airflow

大数据任务调度工具azkaban安装的相关文档

Azkaban 简介