结合两个 rdd - pyspark
Posted
技术标签:
【中文标题】结合两个 rdd - pyspark【英文标题】：Combine two rdd - pyspark 【发布时间】：2017-07-20 12:34:24 【问题描述】：我有两个如下所示的 RDD
r1 = [(u'5971', u'COLOR > RED', 599),(u'5131', u'MEN > BOW TIES > ALL IN COLLECTION', 599)] # id, category, price
r2 = [(u'5131', 1), (u'5971', 1), (u'8347', 1)] # id, quantity
我希望结果如下：
r3 = [(u'5131', ('MEN > BOW TIES > ALL IN COLLECTION',599)), (u'5971', ('COLOR > RED',599)]
我在下面尝试过：
r3 = r1.join(r2)
但结果 r3 rdd 中缺少价格。
【问题讨论】：
【参考方案1】：r1 = [(u'5971', u'COLOR > RED', 599),(u'5131', u'MEN > BOW TIES > ALL IN COLLECTION', 599)] # id, category, price
r2 = [(u'5131', 1), (u'5971', 1), (u'8347', 1)] # id, quantity
r1_modified = r1.map(lambda (l,m,n):(l,(m,n)))
r3 = r1_modified.join(r2).map(lambda (l,m,n):(l,m))
【讨论】：
以上是关于结合两个 rdd - pyspark的主要内容，如果未能解决你的问题，请参考以下文章
在 Apache Spark 中将批处理 RDD 的结果与流式 RDD 相结合
将 RDD.cartesian 与 Spark Streaming 结合使用是不是存在错误？