Apache Oozie:Oozie调度shell脚本

Posted 不死鸟.亚历山大.狼崽子

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Apache Oozie:Oozie调度shell脚本相关的知识,希望对你有一定的参考价值。

oozie 安装好了之后,需要测试 oozie 的功能是否完整好使,官方已经给自带带了各种测试案例,可以通过官方提供的各种案例来学习 oozie 的使用,后续也可以把这些案例作为模板在企业实际中使用。

先把官方提供的各种案例给解压出来

cd /home/oozie-4.1.0-cdh5.14.0

tar -zxvf oozie-examples.tar.gz

创建统一的工作目录,便于集中管理 oozie。企业中可任意指定路径。这里

直接在 oozie 的安装目录下面创建工作目录

cd /home/oozie-4.1.0-cdh5.14.0

mkdir oozie_works

1 准备配置模板

把 shell 的任务模板拷贝到 oozie 的工作目录当中去

cd /home/oozie-4.1.0-cdh5.14.0

cp -r examples/apps/shell/ oozie_works/

准备待调度的 shell 脚本文件

cd /home/oozie-4.1.0-cdh5.14.0

vim oozie_works/shell/hello.sh

注意:这个脚本一定要是在我们 oozie 工作路径下的 shell 路径下的位置

#!/bin/bash

echo "hello world" >> /export/servers/hello_oozie.txt

2 修改配置模板

修改 job.properties

cd /home/oozie-4.1.0-cdh5.14.0/oozie_works/shell

vim job.properties

nameNode=hdfs://192.168.222.138:9000
jobTracker=192.168.222.138:8032
queueName=default
examplesRoot=oozie_works
oozie.wf.application.path=$nameNode/user/$user.name/$examplesRoot/shell
EXEC=hello.sh

jobTracker:在hadoop2当中,jobTracker这种角色已经没有了,只有resourceManager,这里给定resourceManager 的IP及端口即可。

queueName:提交mr任务的队列名;

examplesRoot:指定oozie的工作目录;

oozie.wf.application.path:指定oozie调度资源存储于hdfs的工作路径;

EXEC:指定执行任务的名称。

修改 workflow.xml

<workflow-app
    xmlns="uri:oozie:workflow:0.4" name="shell-wf">
    <start to="shell-node"/>
    <action name="shell-node">
        <shell
            xmlns="uri:oozie:shell-action:0.2">
            <job-tracker>$jobTracker</job-tracker>
            <name-node>$nameNode</name-node>
            <configuration>
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>$queueName</value>
                </property>
            </configuration>
            <exec>$EXEC</exec>
            <file>/user/root/oozie_works/shell/$EXEC#$EXEC</file>
            <capture-output/>
        </shell>
        <ok to="end"/>
        <error to="fail"/>
    </action>
    <decision name="check-output">
        <switch>
            <case to="end">$wf:actionData('shell-node')['my_output'] eq 'Hello Oozie'</case>
            <default to="fail-output"/>
        </switch>
    </decision>
    <kill name="fail">
        <message>Shell action failed, error message[$wf:errorMessage(wf:lastErrorNode())]</message>
    </kill>
    <kill name="fail-output">
        <message>Incorrect output, expected [Hello Oozie] but was
[$wf:actionData('shell-node')['my_output']]</message>
    </kill>
    <end name="end"/>
</workflow-app>

 3 上传调度任务到 hdfs

注意:上传的 hdfs 目录为/user/root,因为 hadoop 启动的时候使用的是root 用户,如果 hadoop 启动的是其他用户,那么就上传到/user/其他用户

cd /home/oozie-4.1.0-cdh5.14.0

hdfs dfs -put oozie_works/ /user/root

4 执行调度任务

通过 oozie 的命令来执行调度任务

cd /home/oozie-4.1.0-cdh5.14.0

bin/oozie job -oozie http://192.168.222.138:11000/oozie -config oozie_works/shell/job.properties -run

从监控界面可以看到任务执行成功了。

可以通过 jobhistory 来确定调度时候是由那台机器执行的。

以上是关于Apache Oozie:Oozie调度shell脚本的主要内容,如果未能解决你的问题,请参考以下文章

Apache Oozie学习笔记

作业流调度框架 oozie 使用

大数据调度平台分类(Oozie/Azkaban/AirFlow/DolphinScheduler)

1.1-1.4 hadoop调度框架和oozie概述

Oozie框架介绍

Oozie