Spark RDD Action操作

Posted 2022-12-15 wangziqiang123

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Spark RDD Action操作相关的知识，希望对你有一定的参考价值。

reduce

def reduce(f: (T, T) => T): T
通过func函数聚集RDD中的所有元素，这个功能必须是可交换且可并联的

1
2
3
4
5
6
7
8
9
10
11

scala> val rdd1 = sc.makeRDD(1 to 10,2)
rdd1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[85] at makeRDD at <console>:24
scala> rdd1.reduce(_+_)
res50: Int = 55
scala> val rdd2 = sc.makeRDD(Array(("a",1),("a",3),("c",3),("d",5)))
rdd2: org.apache.spark.rdd.RDD[(String, Int)] = ParallelCollectionRDD[86] at makeRDD at <console>:24
scala> rdd2.reduce((x,y)=>(x._1 + y._1,x._2 + y._2))
res51: (String, Int) = (adca,12)

collect

def collect(): Array[T]
在驱动程序中，以数组的形式返回数据集的所有元素

count

def count(): Long
返回RDD中的元素个数

first

def first(): T 返回RDD中的第一个元素

take

def take(num: Int): Array[T] 返回RDD中的前n个元素

takeOrdered

def takeOrdered(num: Int)(implicit ord: Ordering[T]) 返回前几个的排序

takeSample

def takeSample( withReplacement: Boolean, num: Int, seed: Long = Utils.random.nextLong): Array[T] 抽样但是返回一个scala集合。

aggregate

def aggregateU: ClassTag(seqOp: (U, T) => U, combOp: (U, U) => U): U aggregate函数将每个分区里面的元素通过seqOp和初始值进行聚合，然后用combine函数将每个分区的结果和初始值(zeroValue)进行combine操作。这个函数最终返回的类型不需要和RDD中元素类型一致。

fold

def fold(zeroValue: T)(op: (T, T) => T): T 折叠操作，aggregate的简化操作，seqop和combop一样。

saveAsTextFile

def saveAsTextFile(path: String): Unit 将RDD以文本文件的方式保存到本地或者HDFS中

saveAsObjectFile

def saveAsObjectFile(path: String): Unit 将RDD中的元素以序列化后对象形式保存到本地或者HDFS中。

countByKey

def countByKey(): Map[K, Long] 针对(K,V)类型的RDD，返回一个(K,Int)的map，表示每一个key对应的元素个数。

foreach

def foreach(f: T => Unit): Unit 在数据集的每一个元素上，运行函数func进行更新。

原文:大专栏  Spark RDD Action操作

以上是关于Spark RDD Action操作的主要内容，如果未能解决你的问题，请参考以下文章

Spark 中Transformation Action操作 以及RDD的持久化

Spark的transformation 和 action的操作学习笔记

浅谈Spark算子

Spark基础 --RDD算子详解

03操作RDD（transformation和action案例实战）

pyspark3.0.0+spark3.0.0学习01（RDD的创建，RDD算子(常用Transformation算子 常用Action算子 分区操作算子)的学习及应用）