spark总结5 RDD

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了spark总结5 RDD相关的知识,希望对你有一定的参考价值。

创建RDD 有两种方式

 

1 通过hdfs支持的文件系统创建 RDD, RDD里面没有真正要计算的数据,只记录了一下元数据

2 从过scala集合或者数组以并行化的方式创建RDD

 

collect 把结果收集起来放到 scala数组里面

reduce 汇聚 方法传进去

 

count   rdd有多少元素

top(2) 取RDD 最大的前两个

take(2)取RDD前两个

first  想到与 take(1)

takeOrdered(2,(排序规则))  拍完序列 取前两个

 

以上是关于spark总结5 RDD的主要内容,如果未能解决你的问题,请参考以下文章

Spark RDD 核心总结

Spark core 总结

Spark IMF传奇行动第18课:RDD持久化广播累加器总结

spark学习总结及其demo

spark的RDDAPI总结

spark学习总结