spark进行groupby之后值转成list

Posted 2020-10-05 白神来了

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了spark进行groupby之后值转成list相关的知识，希望对你有一定的参考价值。

spark的rdd进行groupby以后有时需要对value处理

可以这样处理：

grouped=rdd.groupBy(lambda x: x[0]).map(lambda x : (x[0], list(x[1])))

之后可以循环处理 grouped里的对象，类似：

keys=grouped.keys().collect()

for key in keys：

 value=grouped.lookup(key)

以上是关于spark进行groupby之后值转成list的主要内容，如果未能解决你的问题，请参考以下文章