Apache Oozie:Oozie调度shell脚本
Posted 不死鸟.亚历山大.狼崽子
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Apache Oozie:Oozie调度shell脚本相关的知识,希望对你有一定的参考价值。
oozie 安装好了之后,需要测试 oozie 的功能是否完整好使,官方已经给自带带了各种测试案例,可以通过官方提供的各种案例来学习 oozie 的使用,后续也可以把这些案例作为模板在企业实际中使用。
先把官方提供的各种案例给解压出来
cd /home/oozie-4.1.0-cdh5.14.0
tar -zxvf oozie-examples.tar.gz
创建统一的工作目录,便于集中管理 oozie。企业中可任意指定路径。这里
直接在 oozie 的安装目录下面创建工作目录
cd /home/oozie-4.1.0-cdh5.14.0
mkdir oozie_works
1 准备配置模板
把 shell 的任务模板拷贝到 oozie 的工作目录当中去
cd /home/oozie-4.1.0-cdh5.14.0
cp -r examples/apps/shell/ oozie_works/
准备待调度的 shell 脚本文件
cd /home/oozie-4.1.0-cdh5.14.0
vim oozie_works/shell/hello.sh
注意:这个脚本一定要是在我们 oozie 工作路径下的 shell 路径下的位置
#!/bin/bash
echo "hello world" >> /export/servers/hello_oozie.txt
2 修改配置模板
修改 job.properties
cd /home/oozie-4.1.0-cdh5.14.0/oozie_works/shell
vim job.properties
nameNode=hdfs://192.168.222.138:9000
jobTracker=192.168.222.138:8032
queueName=default
examplesRoot=oozie_works
oozie.wf.application.path=$nameNode/user/$user.name/$examplesRoot/shell
EXEC=hello.sh
jobTracker:在hadoop2当中,jobTracker这种角色已经没有了,只有resourceManager,这里给定resourceManager 的IP及端口即可。
queueName:提交mr任务的队列名;
examplesRoot:指定oozie的工作目录;
oozie.wf.application.path:指定oozie调度资源存储于hdfs的工作路径;
EXEC:指定执行任务的名称。
修改 workflow.xml
<workflow-app
xmlns="uri:oozie:workflow:0.4" name="shell-wf">
<start to="shell-node"/>
<action name="shell-node">
<shell
xmlns="uri:oozie:shell-action:0.2">
<job-tracker>$jobTracker</job-tracker>
<name-node>$nameNode</name-node>
<configuration>
<property>
<name>mapred.job.queue.name</name>
<value>$queueName</value>
</property>
</configuration>
<exec>$EXEC</exec>
<file>/user/root/oozie_works/shell/$EXEC#$EXEC</file>
<capture-output/>
</shell>
<ok to="end"/>
<error to="fail"/>
</action>
<decision name="check-output">
<switch>
<case to="end">$wf:actionData('shell-node')['my_output'] eq 'Hello Oozie'</case>
<default to="fail-output"/>
</switch>
</decision>
<kill name="fail">
<message>Shell action failed, error message[$wf:errorMessage(wf:lastErrorNode())]</message>
</kill>
<kill name="fail-output">
<message>Incorrect output, expected [Hello Oozie] but was
[$wf:actionData('shell-node')['my_output']]</message>
</kill>
<end name="end"/>
</workflow-app>
3 上传调度任务到 hdfs
注意:上传的 hdfs 目录为/user/root,因为 hadoop 启动的时候使用的是root 用户,如果 hadoop 启动的是其他用户,那么就上传到/user/其他用户
cd /home/oozie-4.1.0-cdh5.14.0
hdfs dfs -put oozie_works/ /user/root
4 执行调度任务
通过 oozie 的命令来执行调度任务
cd /home/oozie-4.1.0-cdh5.14.0
bin/oozie job -oozie http://192.168.222.138:11000/oozie -config oozie_works/shell/job.properties -run
从监控界面可以看到任务执行成功了。
可以通过 jobhistory 来确定调度时候是由那台机器执行的。
以上是关于Apache Oozie:Oozie调度shell脚本的主要内容,如果未能解决你的问题,请参考以下文章