Spark RDD去掉前n行数据

Posted 2022-06-04 羲凡丞相

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Spark RDD去掉前n行数据相关的知识，希望对你有一定的参考价值。

@羲凡——只为了更好的活着

Q：在处理一些数据的时候会遇到不想要的前n行，该怎么处理？
A：使用 rdd 的 zipWithIndex 算子

rdd.zipWithIndex().filter(_._2>=n).keys  // n换成对应的第几列即可

====================================================================

@羲凡——只为了更好的活着

若对博客中有任何问题，欢迎留言交流

以上是关于Spark RDD去掉前n行数据的主要内容，如果未能解决你的问题，请参考以下文章