Apache Oozie：Oozie调度shell脚本

Posted 2023-02-21 不死鸟.亚历山大.狼崽子

oozie 安装好了之后，需要测试 oozie 的功能是否完整好使，官方已经给自带带了各种测试案例，可以通过官方提供的各种案例来学习 oozie 的使用，后续也可以把这些案例作为模板在企业实际中使用。

先把官方提供的各种案例给解压出来

cd /home/oozie-4.1.0-cdh5.14.0

tar -zxvf oozie-examples.tar.gz

创建统一的工作目录，便于集中管理 oozie。企业中可任意指定路径。这里

直接在 oozie 的安装目录下面创建工作目录

cd /home/oozie-4.1.0-cdh5.14.0

mkdir oozie_works

1 准备配置模板

把 shell 的任务模板拷贝到 oozie 的工作目录当中去

cd /home/oozie-4.1.0-cdh5.14.0

cp -r examples/apps/shell/ oozie_works/

准备待调度的 shell 脚本文件

cd /home/oozie-4.1.0-cdh5.14.0

vim oozie_works/shell/hello.sh

注意：这个脚本一定要是在我们 oozie 工作路径下的 shell 路径下的位置

#!/bin/bash

echo "hello world" >> /export/servers/hello_oozie.txt

2 修改配置模板

修改 job.properties

cd /home/oozie-4.1.0-cdh5.14.0/oozie_works/shell

vim job.properties

nameNode=hdfs://192.168.222.138:9000
jobTracker=192.168.222.138:8032
queueName=default
examplesRoot=oozie_works
oozie.wf.application.path=$nameNode/user/$user.name/$examplesRoot/shell
EXEC=hello.sh

jobTracker：在hadoop2当中，jobTracker这种角色已经没有了，只有resourceManager，这里给定resourceManager 的IP及端口即可。

queueName：提交mr任务的队列名；

examplesRoot：指定oozie的工作目录；

oozie.wf.application.path：指定oozie调度资源存储于hdfs的工作路径；

EXEC：指定执行任务的名称。

修改 workflow.xml

<workflow-app
    xmlns="uri:oozie:workflow:0.4" name="shell-wf">
    <start to="shell-node"/>
    <action name="shell-node">
        <shell
            xmlns="uri:oozie:shell-action:0.2">
            <job-tracker>$jobTracker</job-tracker>
            <name-node>$nameNode</name-node>
            <configuration>
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>$queueName</value>
                </property>
            </configuration>
            <exec>$EXEC</exec>
            <file>/user/root/oozie_works/shell/$EXEC#$EXEC</file>
            <capture-output/>
        </shell>
        <ok to="end"/>
        <error to="fail"/>
    </action>
    <decision name="check-output">
        <switch>
            <case to="end">$wf:actionData('shell-node')['my_output'] eq 'Hello Oozie'</case>
            <default to="fail-output"/>
        </switch>
    </decision>
    <kill name="fail">
        <message>Shell action failed, error message[$wf:errorMessage(wf:lastErrorNode())]</message>
    </kill>
    <kill name="fail-output">
        <message>Incorrect output, expected [Hello Oozie] but was
[$wf:actionData('shell-node')['my_output']]</message>
    </kill>
    <end name="end"/>
</workflow-app>

 3 上传调度任务到 hdfs

注意：上传的 hdfs 目录为/user/root，因为 hadoop 启动的时候使用的是root 用户，如果 hadoop 启动的是其他用户，那么就上传到/user/其他用户

cd /home/oozie-4.1.0-cdh5.14.0

hdfs dfs -put oozie_works/ /user/root

4 执行调度任务

通过 oozie 的命令来执行调度任务

cd /home/oozie-4.1.0-cdh5.14.0

bin/oozie job -oozie http://192.168.222.138:11000/oozie -config oozie_works/shell/job.properties -run

从监控界面可以看到任务执行成功了。

可以通过 jobhistory 来确定调度时候是由那台机器执行的。