任务调度工具oozie和azkaban的对比

Posted gxgd

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了任务调度工具oozie和azkaban的对比相关的知识,希望对你有一定的参考价值。

 

 

1.工作流调度工具:(azkaban 和oozie的对比)

工作流调度:一个完整的数据分析系统通常都是由大量任务单元组成:shell脚本程序,java程序,mapreduce程序、hive脚本等,各任务单元之间存在时间先后及前后依赖关系。为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行。

调度工具性能对比:Apache Oozie,其配置工作流的过程是编写大量的XML配置,而且代码复杂度比较高,不易于二次开发。ooize相比azkaban是一个重量级的任务调度系统,功能全面,但配置使用也更复杂。如果可以不在意某些功能的缺失,轻量级调度器azkaban是很不错的候选对象。

 

OozieAzkaban的区别:

两者在功能方面大致相同,只是Oozie底层在提交Hadoop Spark作业是通过org.apache.hadoop的封装好的接口进行提交,而Azkaban可以直接操作shell语句。在安全性上可能Oozie会比较好。

工作流定义:Oozie是通过xml定义的而Azkaban为properties来定义。

部署过程:Oozie的部署相对困难些,同时它是从Yarn上拉任务日志。

Azkaban中如果有任务出现失败,只要进程有效执行,那么任务就算执行成功,这是BUG,但是Oozie能有效的检测任务的成功与失败。

操作工作流:Azkaban使用Web操作。Oozie支持Web,RestApi,Java API操作。

权限控制:Oozie基本无权限控制,Azkaban有较完善的权限控制,供用户对工作流读写执行操作。

Oozie的action主要运行在hadoop中而Azkaban的actions运行在Azkaban的服务器中。

记录workflow的状态:Azkaban将正在执行的workflow状态保存在内存中,Oozie将其保存在mysql中。

出现失败的情况:Azkaban会丢失所有的工作流,但是Oozie可以在继续失败的工作流运行

2.调度工具介绍:(azkaban 和oozie)

Azkaban介绍

Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。 
它有如下功能特点: 
1.Web用户界面 
2.方便上传工作流 
3.方便设置任务之间的关系 
4.调度工作流 
5.认证/授权(权限的工作) 
6.能够杀死并重新启动工作流 
7.模块化和可插拔的插件机制 
8.项目工作区 
9.工作流和任务的日志记录和审计

Oozie介绍

Oozie工作流是放置在控制依赖DAG(有向无环图 Direct Acyclic Graph)中的一组动作(例如,Hadoop的Map/Reduce作业、Pig作业等),其中指定了动作执行的顺序。我们会使用hPDL(一种XML流程定义语言)来描述这个图。

hPDL是一种很简洁的语言,只会使用少数流程控制和动作节点。控制节点会定义执行的流程,并包含工作流的起点和终点(start、end和fail节点)以及控制工作流执行路径的机制(decision、fork和join节点)。动作节点是一些机制,通过它们工作流会触发执行计算或者处理(如下图)

技术分享图片

3.Azkaban和Oozie的基本操作

Azkaban

Azkaban的工作流的创建特别方便,直接通过web界面创建工程,然后提交任务。(创建job的的文件必须是以.job的文件,并且上传的文件是以zip压缩包的形式进行上传)。

   创建工作流的基本流程:

(1)创建工程,提交任务。

技术分享图片

 

技术分享图片

 

(2)任务提交完成之后bar.job和foo.job之间的依赖关系显示在web 界面当中。

 技术分享图片

 

(3)然后执行相应提交的任务。如下图两者的对应关系,可以直接执行单个的任务,也可以指定定时任务。可设置定时任务的执行时间。同时可以在定时执行完成之后做相应的提醒服务。

 技术分享图片

技术分享图片

技术分享图片

技术分享图片

 

 技术分享图片

技术分享图片

技术分享图片

 

 技术分享图片

技术分享图片

 

 

Oozie的基本操作:

操作准备;

job.properties

任务的一些配置文件,例如运行的HDFS以及JobTracker

(ResourceManager)等

Lib

存放执行的JAR包

Workflow.xml

工作流的依赖

****.jar

执行任务的jar包(自定义的文件)

 

 技术分享图片

技术分享图片

在ooize的client端执行:

Oozie job --oozie http://ip:11000/oozie -config ${job.properties} -run

执行之后,可以在web页面查询执行的结果。

4.在hue当中操作ooize的操作

在hue当中操作ooize的操作:

Hue是一个可快速开发和调试Hadoop生态系统各种应用的一个基于浏览器的图形化用户接口。

Hue可实现对oozie任务的开发,监控,和工作流协调调度 。使的oozie的操作变得更加的简单快捷。

(1)    创建工作流

 技术分享图片

技术分享图片

技术分享图片

技术分享图片

 

 

运行完成产生相对应的xml文件和相对的日志信息:

 技术分享图片

技术分享图片

添加到定制执行任务。指定定时任务。

技术分享图片

 











以上是关于任务调度工具oozie和azkaban的对比的主要内容,如果未能解决你的问题,请参考以下文章

大数据调度平台分类(Oozie/Azkaban/AirFlow/DolphinScheduler)

Azkaban和Oozie的区别

必知Hadoop工作流引擎调度器--Azkaban与Oozie的区别。

azkaban的部署

azkaban参数

Oozie介绍