spark算子
Posted 乡村骑士2
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了spark算子相关的知识，希望对你有一定的参考价值。
transformation算子
1、map（）
2、flatmap（）
3、mapPartitions（）
4、union（）
5、groupByKey（）
6、filter（）
7、distinc（）去重
8、subtract（）集合的差操作
9、cache（）从磁盘缓存到内存
10、persist（）缓存操作
11、combineByKey（）类似于MR中的combiner
12、reduceByKey（）
13、partitionBy（）分区操作
action算子
1、foreach（x=>println()）
2、saveAsTextFile（）
3、collect（）
4、count（）
5、top（）
6、reduce（）
以上是关于spark算子的主要内容，如果未能解决你的问题，请参考以下文章