如何加入 DataFrames 的地图？斯卡拉火花

Posted 2023-03-16

【中文标题】如何加入 DataFrames 的地图？斯卡拉火花

【英文标题】：How to join a map of DataFrames? Scala Spark

【发布时间】：2018-12-11 00:14:57

【问题描述】：

我有一张 DataFrames 地图：

val myMap = Map(
    "name1" -> df1,
    "name2" -> df2,
    "name3" -> df3
)

我想将这些 DataFrame 加入到常用列的列表中：

val commonColumns = Seq("id", "time")

那么对于任意长度的 df 映射，我可以写什么语句来获得以下效果？：

val desiredDf = df1.join(df2, commonColumns).join(df3, commonColumns)

【参考方案1】：

这个怎么样：

val desiredDf = myMap.values.reduce((l, r) => 
  l.join(r, commonColumns)
)

【讨论】：

基本上，我对reduce非常陌生。这非常有效。谢谢！