如何将项目上传至Azkaban上运行

Posted 2021-06-29 Shall潇

文章目录

• 一、编写项目代码
• 二、编写Azkaban必须文件
• 三、使用Azkaban执行项目代码

一、编写项目代码

package Azkaban;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import java.util.Arrays;

/**
* 为了演示所以就简单点：打印 1-5
*/

public class SparkAz {
    public static void main(String[] args) {
        SparkConf conf = new SparkConf().setMaster("local[*]").setAppName("Azkaban");
        JavaSparkContext sc = new JavaSparkContext(conf);

        Integer[] ints = {1,2,3,4,5};

        JavaRDD<Integer> rdd = sc.parallelize(Arrays.asList(ints));
        rdd.collect().forEach(x->{
            System.out.println(x);
        });
    }
}

将项目打包，并找到 jar 包位置等会用

二、编写Azkaban必须文件

1、azkaban.project

azkaban-flow-version: 2.0

2、basic.flow
【设置语言格式为：YAML，这个文件切记不能有TAB键】

nodes:
  - name: jobSpark
    type: command
    config:
      command: spark-submit --class Azkaban.SparkAz ./Azkaban-1.0-SNAPSHOT.jar

【注意：这里可以设置 spark参数】

3、将azkaban.project、basic.flow、jar 包一起压缩成 .zip格式压缩文件

三、使用Azkaban执行项目代码

详细安装和配置请看：这里啊

1、创建工程

2、上传文件

3、执行

4、查看日志