在 Spark 中使用 Hadoop 作业

Posted 2023-04-17

【中文标题】在 Spark 中使用 Hadoop 作业

【英文标题】：Using Hadoop Job in Spark

【发布时间】：2020-02-23 04:03:09

【问题描述】：

我有一个想在 Spark 中使用的 Mapper (CustomMapper.class) 和一个 Reducer (CustomReducer.class) 类。我可以在 Hadoop 中使用它们，方法是创建一个 Job 对象，然后设置所需的 Mapper 和 Reducer 类，如下所示：

    Configuration conf = new Configuration();
    Job j = new Job(conf, "Adjacency Generator Job"); 
    j.setMapperClass(CustomMapper.class);
    j.setReducerClass(CustomReducer.class);

如何在 Spark 中使用 Java 实现相同的功能？我创建了一个 java RDD 对象，如下所示：

    SparkConf conf=new SparkConf().setAppName("startingSpark").setMaster("local[*]");
    JavaSparkContext sc = new JavaSparkContext(conf); 
    JavaRDD<String> myFile = sc.textFile(args[0]);

我不确定如何使用 Java 在 Spark 中绑定 Mapper 和 Reducer 类。任何帮助表示赞赏。

【问题讨论】：

你为什么要这样做？ Spark 在内部创建了一个执行 DAG，它由转换（如映射、过滤器等）和触发 DAG 的操作（如收集、计数等）组成。这是与 map-reduce 根本不同的计算方式。因此，您的 Mappers 大致对应于 RDD 上的映射操作，而 reducer 对应于任何聚合函数。请阅读文档以了解 Spark 的工作原理。

【参考方案1】：

你为什么要这样做？ Spark 在内部创建了一个执行 DAG，它由转换（如映射、过滤器等）和触发 DAG 的操作（如收集、计数等）组成。这是与 map-reduce 根本不同的计算方式。因此，您的 Mappers 大致对应于 RDD 上的映射操作，而 reducer 对应于任何聚合函数。请阅读文档以了解 Spark 的工作原理。