如何将项目上传至Azkaban上运行
Posted Shall潇
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如何将项目上传至Azkaban上运行相关的知识,希望对你有一定的参考价值。
文章目录
一、编写项目代码
package Azkaban;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import java.util.Arrays;
/**
* 为了演示所以就简单点:打印 1-5
*/
public class SparkAz
public static void main(String[] args)
SparkConf conf = new SparkConf().setMaster("local[*]").setAppName("Azkaban");
JavaSparkContext sc = new JavaSparkContext(conf);
Integer[] ints = 1,2,3,4,5;
JavaRDD<Integer> rdd = sc.parallelize(Arrays.asList(ints));
rdd.collect().forEach(x->
System.out.println(x);
);
将项目打包,并找到 jar 包位置等会用
二、编写Azkaban必须文件
1、azkaban.project
azkaban-flow-version: 2.0
2、basic.flow
【设置语言格式为:YAML,这个文件切记不能有TAB键】
nodes:
- name: jobSpark
type: command
config:
command: spark-submit --class Azkaban.SparkAz ./Azkaban-1.0-SNAPSHOT.jar
【注意:这里可以设置 spark参数】
3、将azkaban.project、basic.flow、jar 包一起压缩成 .zip格式压缩文件
三、使用Azkaban执行项目代码
详细安装和配置请看:这里啊
1、创建工程
2、上传文件
3、执行
4、查看日志
以上是关于如何将项目上传至Azkaban上运行的主要内容,如果未能解决你的问题,请参考以下文章