Spark StructType VS 案例类

Posted 2023-04-15

【中文标题】Spark StructType VS 案例类

【英文标题】：Spark StructType VS Case Class

【发布时间】：2020-11-13 07:05:40

【问题描述】：

我知道Case Class 是最小的常规类，StructType 是一个 spark 数据类型，它是 StructFields 的集合。

但我们可以同时使用Case Class 和StructType 以类似的方式创建数据帧和其他用例。

想了解

在什么情况下我们应该

选择一个而不是另一个

以及为什么？ 在某些情况下我们必须使用其中一个，而不能使用另一个？

【问题讨论】：

观看 Scala 世界大会的视频：youtube.com/watch?v=zXipqCcVmQM 和 youtube.com/watch?v=LafWXI37mcw

【参考方案1】：

没有真正的方面来定义现在哪个更好。

Case 有 22 个字段的限制，但不再是这种情况了。

我觉得case 比定义结构更容易使用。回答 irt 数据帧。