Spark（20）——广播变量和累加器

Posted 2021-04-03 Java学习基地Java毕设定制

什么是共享变量

通常情况下，当向Spark操作(如map,reduce)传递一个函数时，它会在一个远程集群节点上执行，它会使用函数中所有变量的副本。这些变量被复制到所有的机器上，远程机器上并没有被更新的变量向驱动程序回传。在任务之间使用通用的，支持读写的共享变量是低效的。所以Spark提供了两种有限类型的共享变量，广播变量和累加器。

广播变量

广播变量原理图：

广播变量的运用：

 
   
   
 

  
    
    
  
 
   
 
   
 
   
 
   
 
   
 
   
 
   
 
   
 
  
  
    
    
  
val conf = new SparkConf()conf.setMaster("local").setAppName("brocast")val sc = new SparkContext(conf)val list = List("hello xasxt")val broadCast = sc.broadcast(list)val lineRDD = sc.textFile("./words.txt")lineRDD.filter { x => broadCast.value.contains(x) }.foreach { println}sc.stop()
 
   
   
 

使用广播变量的注意事项：

1. 能不能将一个 RDD 使用广播变量广播出去？
    不能，因为RDD是不存储数据的。可以将RDD的结果广播出去。

2. 广播变量只能在 Driver 端定义，不能在 Executor 端定义。

3. 在 Driver 端可以修改广播变量的值，在 Executor 端无法修改广播变量的值。

4.广播变量允许程序员将一个只读的变量缓存在每台机器上，而不用在任务之间传递变量。

5.广播变量可被用于有效地给每个节点一个大输入数据集的副本

6.Spark还尝试使用高效地广播算法来分发变量，进而减少通信的开销。

累加器

累加器是在Spark计算操作中变量值累加起来，可以被用来实现计数器、或者求和操作。Spark原生地只支持数字类型的累加器，编程者可以添加新类型的支持。如果创建累加器时指定了名字，可就以在SparkUI界面看到。这有利于理解每个执行阶段的进程。综合一句话来说，累加器在Driver端定义赋初始值，累加器只能在Driver端读取，在 Excutor 端更新。

累加器的原理图：

累加器的运用：

 
   
   
 

  
    
    
  
 
   
 
   
 
   
 
   
 
   
 
   
 
   
 
  
  
    
    
  
val conf = new SparkConf()conf.setMaster("local").setAppName("accumulator")val sc = new SparkContext(conf)val accumulator = sc.accumulator(0)sc.textFile("./words.txt").foreach { x =>{accumulator.add(1)}}println(accumulator.value)sc.stop()