1. 对于每个元素进行处理,可以使用foreach算子,但是不能修改元素
2. 调整partition数量:repartition和coalesce
3. mapToPair 会shuffle
4. 集合类操作:并集(union),交集(intersection),差集(subtract)
5. 两种过滤:
filter:直接对某个元素布尔判断
leftoutjoin:一个rdd用另一个rdd来 然后 根据null来判断
Posted brainstorm
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了spark算子相关的知识,希望对你有一定的参考价值。
1. 对于每个元素进行处理,可以使用foreach算子,但是不能修改元素
2. 调整partition数量:repartition和coalesce
3. mapToPair 会shuffle
4. 集合类操作:并集(union),交集(intersection),差集(subtract)
5. 两种过滤:
filter:直接对某个元素布尔判断
leftoutjoin:一个rdd用另一个rdd来 然后 根据null来判断
以上是关于spark算子的主要内容,如果未能解决你的问题,请参考以下文章