使用来自另一个 DF (Scala Spark) 的模式创建一个空 DF
Posted
技术标签:
【中文标题】使用来自另一个 DF (Scala Spark) 的模式创建一个空 DF【英文标题】：Create an empty DF using schema from another DF (Scala Spark) 【发布时间】：2021-03-19 01:25:36 【问题描述】：我必须将一个 DF 与另一个从特定路径读取的具有相同架构的 DF 进行比较，但可能在该路径中没有文件，所以我认为我必须将它与具有相同的空 DF 进行比较列作为原始列。
所以我正在尝试使用另一个包含大量列的 DF 的架构创建一个 DF，但我找不到解决方案。我一直在阅读以下帖子，但没有人帮助我：
How to create an empty DataFrame with a specified schema?
How to create an empty DataFrame? Why "ValueError: RDD is empty"?
How to create an empty dataFrame in Spark
我怎样才能在 scala 中做到这一点？还是选择其他方案更好？
【问题讨论】：
【参考方案1】：originalDF.limit(0) 将返回具有相同架构的空数据框。
【讨论】：
以上是关于使用来自另一个 DF (Scala Spark) 的模式创建一个空 DF的主要内容，如果未能解决你的问题，请参考以下文章
在 Scala 中使用来自另一个没有数组列的 DataFrame 的数组类型列创建 Spark DataFrame 的有效方法是啥？
Scala Spark，比较两个 DataFrame 并选择另一列的值
如何使用 JSON 映射文件在 Spark 中使用 Scala 生成新的 DataFrame