:RDD 编程入门

Posted 黑马程序员官方

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了:RDD 编程入门相关的知识,希望对你有一定的参考价值。

Spark是大数据体系的明星产品,是一款高性能的分布式内存迭代计算框架,可以处理海量规模的数据。下面就带大家来学习今天的内容!

 往期内容:


一、程序入口 SparkContext对象

Spark RDD 编程的程序入口对象是SparkContext对象(不论何种编程语言),只有构建出SparkContext, 基于它才能执行后续的API调用和计算。本质上, SparkContext对编程来说, 主要功能就是创建第一个RDD出来。

二、 RDD的创建

RDD的创建主要有2种方式:

• 通过并行化集合创建 ( 本地对象 转 分布式RDD)

• 读取外部数据源 ( 读取文件 )

三、 RDD 算子

四、常用Transformation算子

五、 常用 Action 算子

六、分区操作算子

七、面试题: groupByKey和reduceByKey的区别

以上是关于:RDD 编程入门的主要内容,如果未能解决你的问题,请参考以下文章

2RDD编程

Spark从入门到精通18:RDD常用高级算子介绍

入门大数据---Spark_RDD

学会RDD就学会了Spark,Spark数据结构RDD快速入门

14.spark mllib之快速入门

学会RDD就学会了Spark,Spark数据结构RDD快速入门