spark算子

Posted brainstorm

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了spark算子相关的知识,希望对你有一定的参考价值。

1. 对于每个元素进行处理,可以使用foreach算子,但是不能修改元素

2. 调整partition数量:repartition和coalesce

3. mapToPair 会shuffle

4. 集合类操作:并集(union),交集(intersection),差集(subtract)

5. 两种过滤:

   filter:直接对某个元素布尔判断

   leftoutjoin:一个rdd用另一个rdd来 然后 根据null来判断

以上是关于spark算子的主要内容,如果未能解决你的问题,请参考以下文章

spark算子介绍

Spark-core算子

Spark算子总结(带案例)

Spark算子系列第0篇:spark常用算子详解

Spark算子系列第0篇:spark常用算子详解

Spark篇---Spark中Transformations转换算子