Scala RDD 映射

Posted

技术标签:

【中文标题】Scala RDD 映射【英文标题】:Scala RDD mapping 【发布时间】:2021-12-02 09:58:04 【问题描述】:

所以我在 scala 中有一个 RDD,它当前存储为如下键值映射。

(A, (B,C,D,E))

我想知道是否有可能以某种方式将其映射到存储如下键值映射的 RDD

(A,B)
(A,C)
(A,D)
(A,E)

即是否可以将密钥分别映射到所有内容?

【问题讨论】:

当然,你只需要一个flatMap 我将如何进行平面映射以分隔所有值? 【参考方案1】:

找到了一种方法。您可以使用 flatMapValues(x=>x) 将它们全部转换为键值对,而不是一个键数组值对。

【讨论】:

您的答案可以通过额外的支持信息得到改进。请edit 添加更多详细信息,例如引用或文档,以便其他人可以确认您的答案是正确的。你可以找到更多关于如何写好答案的信息in the help center。

以上是关于Scala RDD 映射的主要内容,如果未能解决你的问题,请参考以下文章

来自 RDD 映射的 Spark Scala 序列化错误

如何通过 RDD Scala 与 join 进行映射

Scala:RDD映射中的任务不可序列化由json4s“隐式val格式= DefaultFormats”引起

将rdd保存到镶木地板文件scala

如何将地图转换为 Spark 的 RDD

Scala Spark 地图类型匹配问题