azkaban简单使用

Posted 2020-09-05 天之涯0204

步骤

1、通过web服务器创建项目，项目名称和描述都是必须填的
2、上传zip包

 

job定义

1、简单的job
一个job就是一个properties文件，只不过文件是以.job结尾，文件里面定义了job的类型和job的依赖关系

# foo.job
type=command
command=echo "Hello World"

这个job就是打印Hello World

2、带有依赖的job

# foo.job
type=command
command=echo foo

 

# bar.job
type=command
dependencies=foo
command=echo bar

　　

dependencies指定了job的依赖关系，不能定义循环依赖的job

job定义完了之后，需要把job打成zip包，zip里面包含了job需要的所有资源

 

执行job遇到的错误及解决方法

错误：
Failed to build job executor for job commandnull Failed to build job type
错误原因：是executor配置的插件目录（azkaban.jobtype.plugin.dir=plugins/jobtypes）不存在，创建这个目录就好了

错误：

Cannot request memory (Xms 0 kb, Xmx 0 kb) from system for job hello
错误原因：这个是3.0以前版本的一个bug，JobTypeManager.buildJobExecutor导致memCheck.enabled=false没有作用. 后面的版本已经解决了这个问题。只需要在executor的plugins/jobtypes目录下创建文件commonprivate.properties，文件的内容为memCheck.enabled=false，最后重新启动就好了