如何将 sql 转换为 spark 数据集？

Posted 2023-04-15

【中文标题】如何将 sql 转换为 spark 数据集？

【英文标题】：How to convert a sql to spark dataset?

【发布时间】：2019-02-18 08:58:35

【问题描述】：

我有一个 Val test=sql ("Select * from table1) ，它返回一个数据框。我想将它转换为不工作的数据集。 test.toDS 抛出错误。

【参考方案1】：

请提供有关错误的更多详细信息。

如果要转换数据集中的数据框，请使用以下代码：

case class MyClass(field1: Int, field2: Long) // for example

val df = sql ("Select * from table1)
val ds : Dataset[MyClass] = df.as[MyClass]