Spark教程——Oozie编排Spark任务

Posted ratels

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark教程——Oozie编排Spark任务相关的知识,希望对你有一定的参考价值。

进入Hue管理界面,打开Oozie Editor:

技术图片

 

将打包好的Spark程序上传到HDFS上,拖拽Spark任务,编辑任务属性,选择打包好的Spark程序,设置主函数所在类,设置选项参数:

技术图片

 

保存为任务:

技术图片

 

 执行:

以上是关于Spark教程——Oozie编排Spark任务的主要内容,如果未能解决你的问题,请参考以下文章

大数据篇:oozie与spark2整合进行资源调度

大数据篇:oozie与spark2整合进行资源调度

使用自定义 spark 版本启动 Oozie 作业

Oozie Spark 动作失败

在 Oozie-Spark 动作中添加多个罐子

Oozie调用Spark实例