如何查看spark中rdd的内容
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如何查看spark中rdd的内容相关的知识,希望对你有一定的参考价值。
很多stage,很多rdd, 如何查看过程中RDD的内容呢???
参考技术A rdd.collect()spark 中如何查看单个RDD分区的内容(创建分区,查看分区数)
spark 创建分区
val scores = Array(("Fred", 88), ("Fred", 95), ("Fred", 91), ("Wilma", 93), ("Wilma", 95), ("Wilma", 98))
val input = sc.parallelize(scores,3) #这里创建了3个分区
查看分区数:
input.partitions.size
查看分区的内容和情况
input.glom().collect()
以上是关于如何查看spark中rdd的内容的主要内容,如果未能解决你的问题,请参考以下文章