spark总结5 RDD
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了spark总结5 RDD相关的知识,希望对你有一定的参考价值。
创建RDD 有两种方式
1 通过hdfs支持的文件系统创建 RDD, RDD里面没有真正要计算的数据,只记录了一下元数据
2 从过scala集合或者数组以并行化的方式创建RDD
collect 把结果收集起来放到 scala数组里面
reduce 汇聚 方法传进去
count rdd有多少元素
top(2) 取RDD 最大的前两个
take(2)取RDD前两个
first 想到与 take(1)
takeOrdered(2,(排序规则)) 拍完序列 取前两个
以上是关于spark总结5 RDD的主要内容,如果未能解决你的问题,请参考以下文章