在express中使用集群cluster

Posted 2023-04-30

参考技术A

我们知道node是单进程的，但实际上目前cpu都是多核的，单进程只能跑一个核，这样cpu资源就没有得到充分利用。
cluster是一个node内置的集群模块，可以用于多进程管理。cluster非常好用，它大大减轻了我们多进程开发的难度，让我们可以轻松构建一个负载均衡集群。

express框架比较常用，我们可以在它下面集成cluster，使其拥有多进程的功能：

我的电脑是4核的，因此会fork出4个子进程，这个www文件会被执行5次，因为要构建5个进程： 1个主进程，4个子进程 。
这样做的好处是——主进程master只负责管理worker子进程，不直接参与业务处理。
给大家做个形象的比喻：
多进程模式下，master是主人，worker是工人。主人拿着皮鞭专门管理一群工人干活，看到哪个不干活（worker挂掉）就一鞭子抽过去（重启worker），主人会活的很好（master不会挂）；而单进程模式就是主人亲自干活，一不小心自己也挂了（未捕获异常搞死进程），那就真起不来了。
当然，这只是一个比喻。实际上，哪个worker挂掉后，master并不会自动重启它，但master会接收到一个通知exit，我们可以新fork一个进程即可。
下面我们就来测试一下：
当我们访问网页，究竟是哪个worker给我们处理呢？
我们在express的首页index加上worker的监听信息：

用命令行模拟测试：

有mac电脑的同学可以打开命令行工具，输入命令top：

这是个linux命令，可以实时监控主机的进程。
寻找一下node进程，然后找到其中一个进程id，强制杀死它，看看进程是否自动重建了？

我们在写js时，用到最多的还是回调函数，而回调函数因其延迟执行的特性，有时确实会有些隐蔽的、会导致进程挂掉的高风险bug没被发现，这时，即使我们开了worker子进程，这些危险的bug仍会轮番攻击worker，导致exit事件频繁发生。
为保护进程的安全，我们需要捕获这些未知的危险bug，通过打印错误堆栈分析出错误原因，并及时修正。

多进程必然带来数据共享问题，比如session。
假如你在登录时是worker1帮你处理的，session也会记录在worker1下面，而当你去购物车下单时，可能就分配到worker2去了，worker2下面没有session，因此判断你没登录，提醒你去登录。
这样就出问题了，怎么办呢？
我们可以用mysql或redis来搞定，因为这二者都是独立于node进程之外的。
mysql是用表来记录session，而redis是共享内存，实战中redis使用的更普遍一些。
如果只是普通的数据，也可以用file做数据共享，这就看你的具体需求了。

如何在 Express Generator App Skeleton 中使用 Node Cluster 模块

【中文标题】如何在 Express Generator App Skeleton 中使用 Node Cluster 模块

【英文标题】：How to Use Node Cluster module within Express Generator App Skeleton

【发布时间】：2016-04-24 10:08:44

【问题描述】：

我正在尝试在我的 Express 应用中使用集群模块。我使用 express-generator 创建我的应用程序结构，但我不确定如何在保持 app.js 和 bin/www 分离的同时合并集群模块。我已经看过使用 express 的集群的教程和 github 示例，但在完整的应用程序框架中没有。有没有办法在合并集群模块的同时保持 app.js 和 www 的分离？

这是我的完整 bin/www 文件：

#!/usr/bin/env node

/**
 * Module dependencies.
 */

var app = require('../app');
var debug = require('debug')('football:server');
var http = require('http');
var cluster = require('cluster');
var numCPUs = require('os').cpus().length;

/**
 * Get port from environment and store in Express.
 */

var port = normalizePort(process.env.PORT || '3000');
app.set('port', port);

if(cluster.isMaster)
  // Fork workers.
  for (var i = 0; i < numCPUs; i++) 
    console.log('forking process', i)
    cluster.fork();
  

  // If a worker dies, log it to the console and start another worker.
  cluster.on('exit', function(worker, code, signal) 
    console.log('Worker ' + worker.process.pid + ' died.');
    cluster.fork();
  );

  // Log when a worker starts listening
  cluster.on('listening', function(worker, address) 
    console.log('Worker started with PID ' + worker.process.pid + '.');
  );

else
  /**
   * Create HTTP server.
   */
   console.log('i am in the else statement')
  var server = http.createServer(app);
  console.log('created another server')
  /**
   * Listen on provided port, on all network interfaces.
   */

  server.listen(port);
  server.on('error', onError);
  server.on('listening', onListening);


/**
 * Normalize a port into a number, string, or false.
 */

function normalizePort(val) 
  var port = parseInt(val, 10);

  if (isNaN(port)) 
    // named pipe
    return val;
  

  if (port >= 0) 
    // port number
    return port;
  

  return false;


/**
 * Event listener for HTTP server "error" event.
 */

function onError(error) 
  if (error.syscall !== 'listen') 
    throw error;
  

  var bind = typeof port === 'string'
    ? 'Pipe ' + port
    : 'Port ' + port;

  // handle specific listen errors with friendly messages
  switch (error.code) 
    case 'EACCES':
      console.error(bind + ' requires elevated privileges');
      process.exit(1);
      break;
    case 'EADDRINUSE':
      console.error(bind + ' is already in use');
      process.exit(1);
      break;
    default:
      throw error;
  


/**
 * Event listener for HTTP server "listening" event.
 */

function onListening() 
  var addr = server.address();
  var bind = typeof addr === 'string'
    ? 'pipe ' + addr
    : 'port ' + addr.port;
  debug('Listening on ' + bind);
  console.log('yay')

我从来没有收到说“Worker 正在使用 pid 侦听...”的消息，并且 else 语句顶部的 console.log() 从来没有被打印出来。

【参考方案1】：

这是具有集群支持的完整 express-generator bin/www 文件：

#!/usr/bin/env node

/**
 * Module dependencies.
 */

var app = require('../app');
var cluster = require('cluster');
var debug = require('debug')('temp:server');
var http = require('http');
var numCPUs = require('os').cpus().length;

/**
 * Get port from environment and store in Express.
 */

var port = normalizePort(process.env.PORT || '3000');
app.set('port', port);

if (cluster.isMaster) 
  // Fork workers.
  for (var i = 0; i < numCPUs; i++) 
    cluster.fork();
  

  // If a worker dies, log it to the console and start another worker.
  cluster.on('exit', function(worker, code, signal) 
    console.log('Worker ' + worker.process.pid + ' died.');
    cluster.fork();
  );

  // Log when a worker starts listening
  cluster.on('listening', function(worker, address) 
    console.log('Worker started with PID ' + worker.process.pid + '.');
  );

 else 
  /**
   * Create HTTP server.
   */

  var server = http.createServer(app);

  /**
   * Listen on provided port, on all network interfaces.
   */

  server.listen(port);
  server.on('error', onError);
  server.on('listening', onListening);


// The rest of the bin/www file.....

/**
 * Normalize a port into a number, string, or false.
 */

function normalizePort(val) 
  var port = parseInt(val, 10);

  if (isNaN(port)) 
    // named pipe
    return val;
  

  if (port >= 0) 
    // port number
    return port;
  

  return false;


/**
 * Event listener for HTTP server "error" event.
 */

function onError(error) 
  if (error.syscall !== 'listen') 
    throw error;
  

  var bind = typeof port === 'string'
    ? 'Pipe ' + port
    : 'Port ' + port;

  // handle specific listen errors with friendly messages
  switch (error.code) 
    case 'EACCES':
      console.error(bind + ' requires elevated privileges');
      process.exit(1);
      break;
    case 'EADDRINUSE':
      console.error(bind + ' is already in use');
      process.exit(1);
      break;
    default:
      throw error;
  


/**
 * Event listener for HTTP server "listening" event.
 */

function onListening() 
  var addr = server.address();
  var bind = typeof addr === 'string'
    ? 'pipe ' + addr
    : 'port ' + addr.port;
  debug('Listening on ' + bind);

您应该可以将此文件用作现有 bin/www 文件的替代品。无需对现有应用程序或第三方模块进行其他更改。

【讨论】：

我把它放到了我的 bin/www 中，但我从来没有收到消息说“Worker 以 pid 开始...”我在 else 语句的顶部放置了一个 console.log() 并且没有被打印。你知道为什么永远不会触发 else 语句吗？

你在什么环境下运行？操作系统/节点版本。

我正在使用 cloud 9，它是一个带有 Docker 容器的 ubuntu 操作系统。我认为这是他们的调试器和/或应用程序运行器的问题。