如何将项目上传至Azkaban上运行

Posted Shall潇

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如何将项目上传至Azkaban上运行相关的知识,希望对你有一定的参考价值。

文章目录

一、编写项目代码

package Azkaban;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import java.util.Arrays;

/**
* 为了演示所以就简单点:打印 1-5
*/

public class SparkAz 
    public static void main(String[] args) 
        SparkConf conf = new SparkConf().setMaster("local[*]").setAppName("Azkaban");
        JavaSparkContext sc = new JavaSparkContext(conf);

        Integer[] ints = 1,2,3,4,5;

        JavaRDD<Integer> rdd = sc.parallelize(Arrays.asList(ints));
        rdd.collect().forEach(x->
            System.out.println(x);
        );
    

将项目打包,并找到 jar 包位置等会用

二、编写Azkaban必须文件

1、azkaban.project

azkaban-flow-version: 2.0

2、basic.flow
【设置语言格式为:YAML,这个文件切记不能有TAB键

nodes:
  - name: jobSpark
    type: command
    config:
      command: spark-submit --class Azkaban.SparkAz ./Azkaban-1.0-SNAPSHOT.jar

【注意:这里可以设置 spark参数】

3、将azkaban.project、basic.flow、jar 包一起压缩成 .zip格式压缩文件

三、使用Azkaban执行项目代码

详细安装和配置请看这里啊

1、创建工程

2、上传文件

3、执行

4、查看日志

以上是关于如何将项目上传至Azkaban上运行的主要内容,如果未能解决你的问题,请参考以下文章

azkaban的简单使用

Azkaban安装

将IntelliJ IDEA项目传上传至Gitee上

将IntelliJ IDEA项目传上传至Github上

简单粗暴的上传项目至 Github

unity发布的webGL项目如何上传至网页(网站)?