SPARK 入门笔记

Posted 2020-09-27

1、Spark基于内存进行运算

2、Spark核心是SprintContext，是程序的入口

3、RDDs是提供抽象的数据集，通过RDDS可以方便对分布在各个节点的数据进行计算，而且忽略细节

4、RDDs与Stream API

5、RDDs采用类似延时加载，计算功能

6、RDDs的combineByKey函数是一个较核心的函数：如下

def combineByKey[C](  
      createCombiner: V => C,  
      mergeValue: (C, V) => C,  
      mergeCombiners: (C, C) => C,  
      partitioner: Partitioner,  
      mapSideCombine: Boolean = true,  
      serializer: Serializer = null)