源码分析golang协程闭包数据陷阱

Posted 2021-04-05 金元兔

0x1

我们在写协程程序的时候，经常会碰到一个场景就是我们要分发执行任务给不同的goroutine（简称gor)，然后再把各个gor的处理结果汇总起来，这个时候就要注意gor的数据污染问题，我们可以通过闭包来防范各个gor之间的数据污染

0x2

下面的一个gor之间数据互相污染的范例

 
   
   
 

  
    
    
  
func main() {
  
    
    
  
 setMem := make(map[int]int)
  
    
    
  
 wg := sync.WaitGroup{}
  
    
    
  
 lk := sync.RWMutex{}
  
    
    
  


  
    
    
  
 for i := 0; i < 10; i++ { // 1
  
    
    
  
 wg.Add(1)
  
    
    
  


  
    
    
  
 go func(wg *sync.WaitGroup) { // 2
  
    
    
  
 fmt.Println("i ---- ", i)
  
    
    
  
 defer wg.Done()
  
    
    
  
 lk.Lock()
  
    
    
  
 setMem[i] = i * 2
  
    
    
  
 lk.Unlock()
  
    
    
  
 }(&wg)
  
    
    
  


  
    
    
  
 }
  
    
    
  


  
    
    
  
 wg.Wait()
  
    
    
  
 fmt.Println("setMem 长度为 ----------", len(setMem))
  
    
    
  
 fmt.Println("setMem done ... ")
  
    
    
  
}
 
   
   
 

这个的运行结果并非如我们所想，汇总了10个 gor的处理结果到 setMem 这个map中去

 
   
   
 

  
    
    
  
setMem 长度为 ---------- 1
  
    
    
  
setMem done ... 
 
   
   
 

原因分析

注释1 因为main gor 和 go func 是同时在运行的， 所以main在赋值给 i 的同时， 2 接收到 i 的值并没有锁定 i ， 而是接收到最新的for循环的值

注释2 没有一个安全的内存区域储存传给当前 gor 的 i 值，所以造成数据污染

0x3

用闭包的原理去解决这个问题

 
   
   
 

  
    
    
  
func setM(wg *sync.WaitGroup, lk *sync.RWMutex, setMemx *map[int]int, i int) {
  
    
    
  
 defer wg.Done()
  
    
    
  
 fmt.Println("i ---- ", i)
  
    
    
  
 (*setMemx)[i] = i * 2
  
    
    
  
}
  
    
    
  


  
    
    
  
func main() {
  
    
    
  
 setMemx := make(map[int]int)
  
    
    
  
 wg := sync.WaitGroup{}
  
    
    
  
 lk := sync.RWMutex{}
  
    
    
  


  
    
    
  
 for i := 0; i < 10; i++ { // 1
  
    
    
  
 wg.Add(1)
  
    
    
  
 setM(&wg, &lk, &setMemx, i) // 2
  
    
    
  
 }
  
    
    
  


  
    
    
  
 wg.Wait()
  
    
    
  
 fmt.Println("setMem 长度为 ----------", len(setMemx))
  
    
    
  
 fmt.Println("setMem done ... ")
  
    
    
  
}
 
   
   
 

运行结果

 
   
   
 

  
    
    
  
setMen 长度为 ---------- 10
  
    
    
  
setMem done ... 
 
   
   
 

注释1 1 处依然是通过循环赋予 i 值注释2 2通过声明独立的func，来进行内存数据作用域锁定，闭包的原理，防止数据污染

所以运行的结果如我们所想