Apache Oozie

Posted 2021-03-26 单词计数程序大牛

1. Apache Oozie

　　Oozie是一个工作流调度系统。Oozie是运行于Java Servlet容器上的一个java web应用。Oozie是按照有向无权图（DAG）调度方式，使用xml文件配置工作流。最初是由Cloudear公司开发，后来贡献给Apache

　　a. apache Oozie架构

 

• oozie的webapp：oozie的server

　　提供一个UI界面，接收客户点的提交的任务，提交给hadoop几圈，启动一个只有一个map没有reduce的mapreduce任务来调度工作的任务具体的执行，交给服务项。

b. 基本原理

采用xml配置工作流

1. xml：workflow.xml 配置工作流的具体执行（有向无环图实现到配置文件）。
2. job.properties：工作流的通用配置文件，执行参数信息。

将节点分为两类：

1. 控制节点：描述工作流的走向 start end fork join kill
2. 动作节点：具体执行任务的节点 包括不局限于：mr，java，hive，shell，spark等。

c. 工作流的类型

1. workFlow：顺序执行流程节点，普通的工作流的调度，不涉及定时，不涉及批处理的工作流。
2. coordinator：支持定时循环的调度任务
3. bundle：即支持定时又支持批处理。