[Spark][python]RDD的collect 作用是什么?

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了[Spark][python]RDD的collect 作用是什么?相关的知识,希望对你有一定的参考价值。

[Spark][Python]sortByKey 例子的继续

RDD的collect() 作用是什么?

“[Spark][Python]sortByKey 例子”的继续

In [20]: mydata004.collect()

Out[20]:
[[u‘00001‘, u‘sku933‘],
[u‘00001‘, u‘sku022‘],
[u‘00001‘, u‘sku912‘],
[u‘00001‘, u‘sku331‘],
[u‘00002‘, u‘sku010‘],
[u‘00003‘, u‘sku888‘],
[u‘00004‘, u‘sku411‘]]

In [22]: mydata004.count()
Out[22]: 7

In [23]: mydata005.count()
---------------------------------------------------------------------------
TypeError Traceback (most recent call last)
<ipython-input-23-c1554a7ccdd7> in <module>()
----> 1 mydata005.count()

TypeError: count() takes exactly one argument (0 given)

In [24]: type(mydata005)
Out[24]: list

In [25]: type(mydata004)
Out[25]: pyspark.rdd.PipelinedRDD


经过对比发现:mydata005 是一个 list。
也就是说 collect 会返回一个 列表。

如果在交互式环境中 运行 <RDD>.collect ,会显示这个RDD的所有元素的内容。

以上是关于[Spark][python]RDD的collect 作用是什么?的主要内容,如果未能解决你的问题,请参考以下文章

[Spark][Python][DataFrame][RDD]DataFrame中抽取RDD例子

如何在spark(Python)中将两个rdd组合成on rdd

在 Python 中创建自定义 Spark RDD

[Spark][python]RDD的collect 作用是什么?

来自现有 RDD 的数据框 - Python Spark

Spark(Python) 从内存中建立 RDD 的例子