golang中最大协程数的限制(线程)

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了golang中最大协程数的限制(线程)相关的知识,希望对你有一定的参考价值。

参考技术A golang中最大协程数的限制

golang中有最大协程数的限制吗?如果有的话,是通过什么参数控制呢?还是通过每个协程占用的资源计算?

通过channel控制协程数的就忽略吧。

以我的理解,计算机资源肯定是有限的,所以goroutine肯定也是有限制的,单纯的goroutine,一开始每个占用4K内存,所以这里会受到内存使用量的限制,还有goroutine是通过系统线程来执行的,golang默认最大的线程数是10000个。可以通过https://gowalker.org/runtime/debug#SetMaxThreads

来修改。但要注意线程和goroutine不是一一对应关系,理论上内存足够大,而且goroutine不是计算密集型的话,可以开启无限个goroutine。

https://gowalker.org/runtime/debug#SetMaxThreads

关于协程:nodejs和golang协程的不同

nodejs和golang都是支持协程的,从表现上来看,nodejs对于协程的支持在于async/await,golang对协程的支持在于goroutine。关于协程的话题,简单来说,可以看作是非抢占式的轻量级线程。

 

 

协程本身

一句话概括,上面提到了

     "可以看作是非抢占式的轻量级线程"。

     在多线程中,把一段代码放在一个线程中执行,cpu会自动将代码分成碎片,并在一定时间切换cpu控制权,线程通过锁机制确保自己使用的资源在cpu执行别的线程的代码时被修改(占用的内存堆栈、硬盘数据资源等),也就是说通过锁机制,

线程a在一块内存中创建了一个变量,线程a代码还没结束,cpu切换去执行线程b了,但是由于锁,线程b无法使用这块内存。

     如果仅在单核单线程cpu下来看,多线程和多协程没有任何区别,因为线程不能并行,只能是cpu分碎片执行。

     协程就是类似这个意思。协程是线程内的东西(暂且不谈多线程下的协程),当协程遇到阻塞时,就切换线程控制权,让线程去执行另外一个协程,只不过这个过程是排队的。这和nodejs的事件轮询是一回事,在nodejs中先告知系统我现在要

读取文件了,系统读取,io阻塞了,nodejs去执行下一段代码B,执行完后检查阻塞是否等待完毕,如果等待完毕就把结果推到事件队列背后去执行回调函数。这一段话我用协程的意思来表达一下,把读取文件,读取结束后执行相应操作放在一个协程a

内,执行代码B放在一个协程b内,线程执行协程a,a遇到io阻塞了,切换线程控制权,执行协程b,b执行结束,切换线程控制权,执行协程a。对于js用户来说,协程是回调的另一种表现形式。

 

function sleep(ms){

  return new Promise((resolve,reject)=>setTimeout(

     ()=>resolve(),ms

  ))

}

 

(async function (){

  await sleep(3000)

  console.log("你好")

}())

 

(async function (){

  await sleep(3000)

  console.log("世界")

}())

 

可以这么看,执行async函数就是运行一段协程代码,await关键字就是切换协程,在await后就去执行其他协程的代码了。

 

func deferPrint(str string){

  time.Sleep(time.Second*2)

  fmt.Println(str)

}

 

func main(){

  go deferPrint("你好")

  go deferPrint("世界")

  //如果主协程不阻塞,永远不会切换

  time.Sleep(time.Seconds*2)

}

 

golang的go关键字就是将一段代码放在一个协程里,线程选择协程运行,碰见阻塞就自动切换协程运行,但需要注意的是,golang不会因为一个协程运行结束就自动切换,必须是阻塞之后

 

 

 

核心区别

锁机制

golang的协程是可以带锁的 Lock.Mutex() Unlock(),nodejs是号称永远不会死锁也根本没有锁这回事。

没有锁会导致的问题在于占用的资源被轻易修改

比如读取一个文件,如果该文件为0kb我就写一个字符串进去,如果大于0kb,我就不执行任何操作。协程中会有两次阻塞,第一次是读取该文件,判断文件大小,第二次是写入。假如有两个函数签名如下

async function getFileSize(filename) : number

async function writeFile(data,filename) :bool

async function exec(){

  size = await getFileSize("./test.txt");

  if(size==0){

    await writeFile("你好","./test.txt")

    console.log("ok!")

  }

}

如果我第一次判断结束后另一个协程里执行了插入操作,那么几个函数的执行顺序就会变成

A: getFileSize()检查文件大小,协程阻塞,切换协程

B: 写入文件,协程阻塞,切换协程

A: getFileSize()检查文本大小结束,可以插入,执行writeFile()

    但是此时队列中还有一个B协程的插入操作会在A之前执行,A协程对此不知道,以为文件还是0kb

 

如果文件被上锁了

A: getFileSize()检查文件大小,协程阻塞,切换协程

B: 写入文件,哦——协程A锁住了这个文件,那我等他释放把,切换协程

A: getFileSize()完成,插入操作

B: 哦——协程A还在占用,那我接着等

A: 搞定了,释放锁,我已经没有什么要执行的了,把我从队列里删掉吧

B: 协程A释放了文件的锁,现在我可以写入了

 

 

线程支持

golang之所以要支持锁协程,我想是为了多线程支持。golang中可以启用多个线程并行执行相同数量的协程。

nodejs受限于v8的isolate机制,只能跑在单线程中。所有代码无法并行执行,无法处理计算密集型应用场景。

 

切换机制

nodejs使用await阻塞协程,手动切换线程控制权,node的协程是c++控制的,c++里写了这个函数可以被推入事件队列就能够用promise封装成协程

golang在协程阻塞时自动切换协程,所以在写golang的时候所有的代码可以都写同步代码,然后用go关键字去调用,golang的协程是自己规定的,所有

         函数在阻塞时都必须切换线程控制权

 

取返回值

nodejs中async函数是能直接返回值的

golang只能传递一个引用的channel

 

 

总的来说golang和nodejs应用场景不同。nodejs适合前端鼓捣,用plug/ejs配合express/koa2从服务器http请求数据后再填到模版引擎里

golang类似与小c++,最大的亮点就是使用协程管理多线程

对语言来说,不应该选边站,但还是捧一波c#,除了只能在.net上运行其他碾压其他所有对手

以上是关于golang中最大协程数的限制(线程)的主要内容,如果未能解决你的问题,请参考以下文章

golang 多协程注意事项

Golang 线程和协程的区别

Golang协程

Golang线程模型

Golang 之协程详解

Golang教程:goroutine协程