如何查看spark中rdd的内容

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如何查看spark中rdd的内容相关的知识,希望对你有一定的参考价值。

很多stage,很多rdd, 如何查看过程中RDD的内容呢???

参考技术A rdd.collect()

spark 中如何查看单个RDD分区的内容(创建分区,查看分区数)

spark 创建分区

val scores = Array(("Fred", 88), ("Fred", 95), ("Fred", 91), ("Wilma", 93), ("Wilma", 95), ("Wilma", 98))

val input = sc.parallelize(scores,3)   #这里创建了3个分区

查看分区数:

input.partitions.size

 

查看分区的内容和情况

input.glom().collect()

以上是关于如何查看spark中rdd的内容的主要内容,如果未能解决你的问题,请参考以下文章

在 Python Spark 中查看 RDD 内容?

查看spark RDD 各分区内容

如何在pyspark中查看RDD中每个分区的内容?

Spark RDD数据过滤

Spark之RDD算子

如果 RDD 变大,Spark 将如何反应?