azkaban怎么在job里面直接调用python脚本啊,我调用shell脚本正常运行,调用python脚本没有运行

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了azkaban怎么在job里面直接调用python脚本啊,我调用shell脚本正常运行,调用python脚本没有运行相关的知识,希望对你有一定的参考价值。

执行如下shell命令: $ python my.py > out.txt 2> err.txt 则err.txt中会存有执行脚本my.py的错误输出,out.txt中会含有正常的print结果。 参考技术A 直接指定执行python文件的python解释器路径 参考技术B 可以的中学

azkaban的简单使用

简单使用

create job

右上角

技术图片

 

技术图片

 技术图片

project创建成功

技术图片

创建job并上传至该project

技术图片
[[email protected] ~]# cat command.job
#command.job
type=command
command=echo ‘hello azkaban‘
[[email protected] ~]# 
[[email protected] ~]# zip -r command.zip command.job
  adding: command.job (deflated 16%)
[[email protected] ~]# ll
总用量 213984
-rw-------.  1 root root      1231 3月  25 22:40 anaconda-ks.cfg
drwxr-xr-x   4 root root       144 4月  18 16:20 ap
-rw-r--r--.  1 root root       595 4月   2 13:32 AutoConfig.sh
drwxr-xr-x  13 root root      4096 4月  25 10:18 azkaban
-rw-r--r--   1 root root 219095040 4月  25 10:56 azkaban.tar
-rw-r--r--   1 root root        55 4月  26 09:20 command.job
-rw-r--r--   1 root root       218 4月  26 09:22 command.zip
-rw-r--r--.  1 root root       831 4月   2 13:54 pullK8sImages.sh
[[email protected] ~]# ls
技术图片

将此文件下载到windows上

技术图片

技术图片

技术图片

 

 

 技术图片

 

 技术图片

技术图片

 

技术图片

这里也可以看

技术图片

 

查看job内容

技术图片

技术图片

查看日志

技术图片

点击detail,可查看job logs

技术图片

技术图片

查看flow log

技术图片

 

以上是关于azkaban怎么在job里面直接调用python脚本啊,我调用shell脚本正常运行,调用python脚本没有运行的主要内容,如果未能解决你的问题,请参考以下文章

azkaban参数

Azkaban使用

azkaban job参数传递

Azkaban,a batch workflow job scheduler

Azkaban工作流调度

10_Azkaban案例实践3_Command操作HDFS