golang中最大协程数的限制(线程)
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了golang中最大协程数的限制(线程)相关的知识,希望对你有一定的参考价值。
参考技术A golang中最大协程数的限制golang中有最大协程数的限制吗?如果有的话,是通过什么参数控制呢?还是通过每个协程占用的资源计算?
通过channel控制协程数的就忽略吧。
以我的理解,计算机资源肯定是有限的,所以goroutine肯定也是有限制的,单纯的goroutine,一开始每个占用4K内存,所以这里会受到内存使用量的限制,还有goroutine是通过系统线程来执行的,golang默认最大的线程数是10000个。可以通过https://gowalker.org/runtime/debug#SetMaxThreads
来修改。但要注意线程和goroutine不是一一对应关系,理论上内存足够大,而且goroutine不是计算密集型的话,可以开启无限个goroutine。
https://gowalker.org/runtime/debug#SetMaxThreads
关于协程:nodejs和golang协程的不同
nodejs和golang都是支持协程的,从表现上来看,nodejs对于协程的支持在于async/await,golang对协程的支持在于goroutine。关于协程的话题,简单来说,可以看作是非抢占式的轻量级线程。
协程本身
一句话概括,上面提到了
"可以看作是非抢占式的轻量级线程"。
在多线程中,把一段代码放在一个线程中执行,cpu会自动将代码分成碎片,并在一定时间切换cpu控制权,线程通过锁机制确保自己使用的资源在cpu执行别的线程的代码时被修改(占用的内存堆栈、硬盘数据资源等),也就是说通过锁机制,
线程a在一块内存中创建了一个变量,线程a代码还没结束,cpu切换去执行线程b了,但是由于锁,线程b无法使用这块内存。
如果仅在单核单线程cpu下来看,多线程和多协程没有任何区别,因为线程不能并行,只能是cpu分碎片执行。
协程就是类似这个意思。协程是线程内的东西(暂且不谈多线程下的协程),当协程遇到阻塞时,就切换线程控制权,让线程去执行另外一个协程,只不过这个过程是排队的。这和nodejs的事件轮询是一回事,在nodejs中先告知系统我现在要
读取文件了,系统读取,io阻塞了,nodejs去执行下一段代码B,执行完后检查阻塞是否等待完毕,如果等待完毕就把结果推到事件队列背后去执行回调函数。这一段话我用协程的意思来表达一下,把读取文件,读取结束后执行相应操作放在一个协程a
内,执行代码B放在一个协程b内,线程执行协程a,a遇到io阻塞了,切换线程控制权,执行协程b,b执行结束,切换线程控制权,执行协程a。对于js用户来说,协程是回调的另一种表现形式。
function sleep(ms){
return new Promise((resolve,reject)=>setTimeout(
()=>resolve(),ms
))
}
(async function (){
await sleep(3000)
console.log("你好")
}())
(async function (){
await sleep(3000)
console.log("世界")
}())
可以这么看,执行async函数就是运行一段协程代码,await关键字就是切换协程,在await后就去执行其他协程的代码了。
func deferPrint(str string){
time.Sleep(time.Second*2)
fmt.Println(str)
}
func main(){
go deferPrint("你好")
go deferPrint("世界")
//如果主协程不阻塞,永远不会切换
time.Sleep(time.Seconds*2)
}
golang的go关键字就是将一段代码放在一个协程里,线程选择协程运行,碰见阻塞就自动切换协程运行,但需要注意的是,golang不会因为一个协程运行结束就自动切换,必须是阻塞之后
核心区别
锁机制
golang的协程是可以带锁的 Lock.Mutex() Unlock(),nodejs是号称永远不会死锁也根本没有锁这回事。
没有锁会导致的问题在于占用的资源被轻易修改
比如读取一个文件,如果该文件为0kb我就写一个字符串进去,如果大于0kb,我就不执行任何操作。协程中会有两次阻塞,第一次是读取该文件,判断文件大小,第二次是写入。假如有两个函数签名如下
async function getFileSize(filename) : number
async function writeFile(data,filename) :bool
async function exec(){
size = await getFileSize("./test.txt");
if(size==0){
await writeFile("你好","./test.txt")
console.log("ok!")
}
}
如果我第一次判断结束后另一个协程里执行了插入操作,那么几个函数的执行顺序就会变成
A: getFileSize()检查文件大小,协程阻塞,切换协程
B: 写入文件,协程阻塞,切换协程
A: getFileSize()检查文本大小结束,可以插入,执行writeFile()
但是此时队列中还有一个B协程的插入操作会在A之前执行,A协程对此不知道,以为文件还是0kb
如果文件被上锁了
A: getFileSize()检查文件大小,协程阻塞,切换协程
B: 写入文件,哦——协程A锁住了这个文件,那我等他释放把,切换协程
A: getFileSize()完成,插入操作
B: 哦——协程A还在占用,那我接着等
A: 搞定了,释放锁,我已经没有什么要执行的了,把我从队列里删掉吧
B: 协程A释放了文件的锁,现在我可以写入了
线程支持
golang之所以要支持锁协程,我想是为了多线程支持。golang中可以启用多个线程并行执行相同数量的协程。
nodejs受限于v8的isolate机制,只能跑在单线程中。所有代码无法并行执行,无法处理计算密集型应用场景。
切换机制
nodejs使用await阻塞协程,手动切换线程控制权,node的协程是c++控制的,c++里写了这个函数可以被推入事件队列就能够用promise封装成协程
golang在协程阻塞时自动切换协程,所以在写golang的时候所有的代码可以都写同步代码,然后用go关键字去调用,golang的协程是自己规定的,所有
函数在阻塞时都必须切换线程控制权
取返回值
nodejs中async函数是能直接返回值的
golang只能传递一个引用的channel
总的来说golang和nodejs应用场景不同。nodejs适合前端鼓捣,用plug/ejs配合express/koa2从服务器http请求数据后再填到模版引擎里
golang类似与小c++,最大的亮点就是使用协程管理多线程
对语言来说,不应该选边站,但还是捧一波c#,除了只能在.net上运行其他碾压其他所有对手
以上是关于golang中最大协程数的限制(线程)的主要内容,如果未能解决你的问题,请参考以下文章