Spark 编程模型（下）

Posted 百里登风

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Spark 编程模型（下）相关的知识，希望对你有一定的参考价值。

 

                                                                                                                                     创建Pair RDD

什么是Pair RDD

 

创建Pair RDD

 

                                                                                   

 

                                                                               Pair RDD的转化操作

 Pair RDD的转化操作1

 

在xshell启动

 

 

 

 

 

 

reduceByKey的意思是把相同的key的value的值相加起来

 

 

Pair RDD转换操作2

 

 

                                             

 

                                                                                                   Pair RDD的action操作

Pair RDD转换操作1

 

 

                                                                                              Pair RDD的分区控制

 

 

自定义分区方式

 

以上是关于Spark 编程模型（下）的主要内容，如果未能解决你的问题，请参考以下文章

Spark 编程模型(下)

Spark入门实战系列--3.Spark编程模型（下）--IDEA搭建及实战

Spark 编程模型(中)

Spark 编程模型(上)

Dataflow编程模型和spark streaming结合

Spark机器学习：Spark 编程模型及快速入门