SPARK之map()和mapPartition()的区别
Posted xiangyuguan
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了SPARK之map()和mapPartition()的区别相关的知识，希望对你有一定的参考价值。
-
map()：每次处理一条数据
-
mapPartition()：每次处理一个分区的数据，这个分区的数据处理完后，原RDD中分区的数据才能释放，可能导致OOM
当内存空间较大的时候建议使用mapPartition()，以提高处理效率
以上是关于SPARK之map()和mapPartition()的区别的主要内容，如果未能解决你的问题，请参考以下文章