什么是Spark运算过程中的黑科技

Posted 2020-10-31 下士闻道

Spark在运算过程中提供了一套完整的机制用来提高效率。

1. 用于收集信息的Accumulator，自带增量，用于spark全局收集数据；共享数据；

2. 用于提高传输速率的broadcast机制；如果需要将已知大对象比如上万条的List，这些多大几十M甚至更大对象如果传统作为Map对象的方式下放到各个节点无疑增大了网络压力，可以采用broadcast的方式来进行对象传输；broadcast采用的是BT机制使得对象在网络中只是传输一次便实现了能够在各个节点中实现互传。

3. mapPartition；如果是Map是遍历每个元素；但是有些操作其实在每个节点只需要做一次即可，这个时候就可以使用RDD的mapPartition算子，里面的函数是在分区级别进行处理的；在分区里面可以通过while（partition.next）来遍历该分区里面的元素

4. Spark提供了多语言的交互，这里包括跟脚本，R语言，在运算过程中可以实现更加丰富的功能；

5. Spark提供了大量的数学公式，提高实现运算的效率。