如何从 Spark 2.0 中的 DataFrame 列创建数据集？

Posted 2023-04-17

【中文标题】如何从 Spark 2.0 中的 DataFrame 列创建数据集？

【英文标题】：How to create Dataset from DataFrame column in Spark 2.0?

【发布时间】：2016-12-06 10:32:02

【问题描述】：

是否可以从 Spark 2.0 中的 Dataframe 列创建数据集？ 我有以下问题：我想从按日期分区的镶木地板数据中读取一些数据，然后将其中一列转换为 Dataset。 示例：

val frame = spark.read.parquet(path).select($"date", $"object".as[MyObjectType]).filter($"date" > "2016-10-01")

现在，我需要将第二列转换为 Dataset[MyObjectType] 并且不明白我该怎么做。 MyObjectType 是 scala 产品类型

【参考方案1】：

你可以cast:

val frame = spark.read.parquet(path)
    .select($"date", $"object".cast(MyObjectTypeUDT))
    .filter($"date" > "2016-10-01")

在这种情况下，MyObjectTypeUDT 是 SQL 类型之一，即 StringType 或 IntegerType 或自定义 UserDefinedType。

或者，如果您有一些代表数据集中内容的类：

case clas DateWithObject (date : Timestamp, object: MyObject)

然后你可以写：

val frame = spark.read.parquet(path)
    .select($"date", $"object")
    .as[DateWithObject] 
    .filter($"date" > "2016-10-01")

我认为这是最简单的方法