Spark Java API：如何将 JavaRDD 转换为 RDD 类型

Posted 2023-04-15

【中文标题】Spark Java API：如何将 JavaRDD 转换为 RDD 类型

【英文标题】：Spark Java API: How to convert JavaRDD to RDD type

【发布时间】：2018-07-13 21:35:25

【问题描述】：

我正在尝试将使用Dataframe 编写的代码转换为DataSet API。 问题是我将 JavaRDD 创建为：

final JavaRDD<String> abcJavaRdd= jsc.textFile("/path/to/textfile");

但是sqlContext类的createDataset方法需要RDD<T>类型而不是JavaRDD<T>类型。

SQLContext sqlc = new SQLContext(jsc);
....
....
Encoder<Abc> abcEncoder= Encoders.bean(Abc.class);
Dataset<Abc> abcDataset= sqlc.createDataset(abcJavaRdd, abcEncoder);

上面代码的最后一行不起作用。 我想知道如何从“org.apache.spark.api.java.JavaRDD”类型创建“org.apache.spark.rdd.RDD”类型？

我在 mapr 集群上使用 Java 1.8 和 apache spark 1.6.1。

【参考方案1】：

通过API挖掘后，我找到了答案。

org.apache.spark.api.java.JavaRDD 类公开了一个静态方法，将JavaRDD 类型的对象转换为org.apache.spark.rdd.RDD，createDataset 类的createDataset 方法接受该方法SQLContext。

Encoder<Abc> abcEncoder= Encoders.bean(Abc.class);
Dataset<Abc> abcDataset= sqlc.createDataset(JavaRDD.toRDD(abcJavaRdd), abcEncoder);

另一种方法是在abcJavaRdd 上调用rdd() 方法。即abcJavaRdd.rdd()