Node.js：浅析高并发与分布式集群

Posted 2021-04-25 IFE

今天为大家推荐一个新的知乎技术专栏，EFE技术体系的LUFF小分队。他们目前负责百度APP用户增长研发相关工作，是一个全栈团队，在最近几年积累了大量基于Node.js的高并发业务的经验。欢迎大家关注他们的知乎专栏。

https://zhuanlan.zhihu.com/c_215947795

Node特性：高并发

在解释node为什么能够做到高并发之前，不妨先了解一下node的其他几个特性：

单线程

我们先来明确一个概念，即：node是单线程的，这一点与javascript在浏览器中的特性相同，并且在node中JavaScript主线程与其他线程（例如I/O线程）是无法共享状态的。

单线程的好处就是：

• 无需像多线程那样去关注线程之间的状态同步问题

• 没有线程切换所带来的开销

• 没有死锁存在

当然单线程也有许多坏处：

• 无法充分利用多核CPU

• 大量计算占用CPU会导致应用阻塞(即不适用CPU密集型)

• 错误会引起整个应用的退出

不过在今天看来，这些坏处都已经不再是问题或者得到了适当的解决：

(1) 创建进程 or 细分实例

关于第一个问题，最直白解决方案就是使用 child_process核心模块或者 cluster：child_process 和 net 组合应用。我们可以通过在一台多核服务器上创建多个进程（通常使用 fork操作）来充分利用每个核心，不过要处理好进程间通信问题。另一个方案是，我们可以将物理机器划分为多台单核的虚拟机，并通过pm2等工具，管理多台虚拟机形成一个集群架构，高效运行所需服务，至于每台机器间的通信（状态同步）我这里先按下不表，在下文的 Node分布式架构中再做详细说明。

(2) 时间片轮转

关于第二点，我跟小伙伴讨论过后认为可以通过时间片轮转方式，在单线程上模拟多线程，适当减少应用阻塞的感觉（虽然这种方法不会真的像多线程那样节约时间）

(3) 负载均衡、坏点监控/隔离

至于第三点，我跟小伙伴们也讨论过，认为主要的痛点就在于node不同于JAVA，它所实现的逻辑是以异步为主的。这就导致了node无法像JAVA一样 方便地使用 try/catch 来来捕获并绕过错误，因为无法确定异步任务会何时传回异常。而在单线程环境下，绕不过错误就意味着导致 应用退出，重启恢复的间隙会导致服务中断，这是我们不愿意看到的。
当然，在服务器资源丰富的当下，我们可以通过 pm2 或 nginx 这些工具，动态的判断服务状态。在服务出错时隔离坏点服务器，将请求转发到正常服务器上，并重启坏点服务器以继续提供服务。这也是 Node分布式架构的一部分。

异步I/O

你可能会问，既然node是单线程的，事件全部在一个线程上处理，那不是应该效率很低、与高并发相悖吗？

恰恰相反，node的性能很高。原因之一就是node具有异步I/O特性，每当有I/O请求发生时，node会提供给该请求一个I/O线程。然后node就不管这个I/O的操作过程了，而是继续执行主线程上的事件，只需要在该请求返回回调时在处理即可。也就是node省去了许多等待请求的时间。

这也是node支持高并发的重要原因之一

实际上不光是I/O操作，node的绝大多数操作都是以这种异步的方式进行的。它就像是一个组织者，无需事必躬亲，只需要告诉成员们如何正确的进行操作并接受反馈、处理关键步骤，就能使得整个团队高效运行。

事务驱动

你可能又要问了，node怎么知道请求返回了回调，又应该何时去处理这些回调呢？

答案就是node的另一特性：事务驱动，即主线程通过event loop事件循环触发的方式来运行程序

这是node支持高并发的另一重要原因

图解node环境下的Event loop：

poll阶段：

当进入到poll阶段，并且没有timers被调用的时候，会发生下面的情况:

（1）如果poll队列不为空：

• Event Loop 将同步的执行poll queue里的callback（新的I/O事件），直到queue为空或者执行的callback到达上线。

（2）如果poll队列为空:

• 如果脚本调用了setImmediate(), Event Loop将会结束poll阶段并且进入到check阶段执行setImmediate()的回调。

• 如果脚本没有被setImmediate()调用，Event Loop将会等待回调（新的I/O事件）被添加到队列中，然后立即执行它们。

当进入到poll阶段，并且调用了timers的话，会发生下面的情况:

• 一旦poll queue是空的话，Event Loop会检查是否timers, 如果有1个或多个timers时间已经到达，Event Loop将会回到timer阶段并执行那些timer的callback(即进入到下一次tick)。

优先级：

Next Tick Queue > MicroTask Queue

setTimeout、setInterval > setImmediate

由于timer需要从红黑树中取出定时器来判断时间是否到了，时间复杂度为O(lg(n))，故如果想立即异步执行一个事件，最好不要用 setTimeout(func, 0)。而是使用 process.nextTick() 来完成。

…………

完整版欢迎点击下方阅读全文