如何将 nodeJS 集群与 mySQL 池集群一起使用？

Posted 2023-03-07

【中文标题】如何将 nodeJS 集群与 mySQL 池集群一起使用？

【英文标题】：How to use nodeJS cluster with mySQL pool cluster?

【发布时间】：2017-12-17 12:12:13

【问题描述】：

快速提问

如果我使用 4 个工作人员（我的应用程序的 4 个实例）创建一个节点集群应用程序，我应该使用 mysql 池还是 mysql 池集群？如果我使用池，它将为每个应用程序创建一个池，但如果我使用池集群，它将为每个应用程序创建 4 个池（总共 16 个）。这是一个好的实现还是会降低性能？

让我们做一个假的例子来说明我在问什么。我正在创建一个这样的 nodeJS 服务器应用程序。

---

首先，让我们为 mysql 数据库制作配置文件（重要的是我制作 db worker 的文件的最后一部分）：

DBconfig.js

'use strict'
const mysql   = require('mysql'),
      workers = process.env.WORKERS || require('os').cpus().length,
      cluster = require('cluster');
      
//Local Database Settings
const local_settings = 
    user       : 'user',
    host       : '127.0.0.1',
    password   : 'pass',
    database   : 'dbname',
    debug      : false,
    dateStrings: true,
    connectionLimit     : 10,
    defaultSelector     : 'RR',
    multipleStatements  : true,
    removeNodeErrorCount: 1
;

let poolCluster = module.exports = mysql.createPoolCluster( local_settings );

//here I make one db worker for each app worker
for(let i = 0; i < workers; i++)
    poolCluster.add(`DBWORKER_$process.pid_$i`, local_settings);

然后我创建一个全局库以在我的应用程序中使用我的数据库连接功能

globalLib.js

'use strict'
const path        = require('path'),
      poolCluster = require(path.join('path','to_the','DBconfig.js'));

global.db = obj => 
  return new Promise( (resolve, reject) => 
    poolCluster.getConnection(function(err, connection)
        if(err) reject(err);return
        
        connection.query(obj.query, obj.params, function()
            connection.release();
            if(!err) resolve(rows)
            else reject(err);
        );
        
        connection.on('error'), function(err)
            reject(err);
        );
    
  )

app.js

'use strict'
const express = require('express'),
      path    = require('path');
let   app     = module.exports = express();

//here I handle all with express.Router()
const index = require(path.join('path','to_my','index.js'));

app.use('/', index)

最后我有一个集群文件，我从这里启动服务器（这里的一切都很重要）：

cluster.js

'use strict'
const path    = require('path'),
      cluster = require('cluster'),
      sockets = require(path.join('path_to','sockets.js')),
      app     = require(path.join('path_to','app.js')),
      pclust  = require(path.join('path_to', 'DBconfig.js')),
      workers = process.env.WORKERS || require('os').cpus().length;

if (cluster.isMaster) 
  
    for (var i = 0; i < workers; ++i) 
        var worker = cluster.fork();
    
   
    cluster.on('disconnect', function(worker) 
        pclust.remove(`DBWORKER_$worker.process.pid_*`);//remove all connections relative to this process pid
        var worker = cluster.fork();
    );

else 

    //Start Application
    var server = app.listen(8080, '127.0.0.1', function()
        console.log('yeeeeey');
    );

    // initialize socket
    sockets.initialize(server,app);

---

假设我有 4 个 CPU，那么我的 app.js 将有 4 个实例。因此，我为每个应用程序中的每个 cpu 创建了 4 个数据库工作者，所以最后我有：

cpuID    server instances    db workers

 1            1                 4

 2            1                 4

 3            1                 4

 4            1                 4

 4            4                 16 ( TOTAL )

所以这给我留下了很多数据库工作人员...... 问题是，这是nodeJS集群和mySQL池集群的一个很好的实现吗？如果不是，哪个是正确的方法？

【问题讨论】：

我更熟悉将 PostgreSQL 与 Node.js 一起使用，但根据我的经验......连接池会延迟创建它们的连接，然后再维护它们——这是建立数据库连接的过程往往是更昂贵的操作。您的实现是否良好取决于：您的应用程序在正常使用期间是否创建了那么多连接？与在每个应用程序工作人员中创建连接池相比，在单独的工作人员中创建连接池有什么好处？您是否考虑过增加每个池可能包含的连接数？

您好！我只是想知道您是否对此有答案？我还在 MySQL 中使用 node.js 和 node.js 集群。我在本地使用 autocannon 测试性能。

【参考方案1】：

我也很好奇这个答案。我假设随着处理器数量的增加，它通常会在请求更少的情况下表现更好，但在流量很大的情况下使用会更好。

在 app.js 文件中，我在 app.js 中使用这些包：

const cluster = require('cluster');
const http = require('http');
let osu = require('node-os-utils'); //get's number of cpus
var cpu = osu.cpu;

我也安装了自动炮。

if(cluster.isMaster) 
  const availableCpus = cpu.count();

  console.log('clustering to', availableCpus, 'processes');
  for (let i = 0; i < availableCpus; i++) 
    cluster.fork();
  

  cluster.on('online', function(worker) 
    console.log('worker:', worker.process.pid, 'is online');
  )

  cluster.on('exit', (worker, code, signal) => 
    if(code !== 0 && !worker.exitedAfterDisconnect) 
      console.log('Starting new worker:', worker.process.pid, + 'signal:', signal);
      cluster.fork();
    
  )

else 

  app.get('/', function (req, res) 
    let i= 100000000; while (i>0) i--
    res.send();
  );

  app.listen(port, () => console.log("APP TEST: port %s", port));

在没有集群的情况下使用自动炮：

将 autocannon 与集群和 8 个工作人员一起使用：

此外，没有 node.js 集群：44k 请求。 使用 node.js 集群和 8 个工作人员：40k 个请求。

如果有人能对此作出解释，我会觉得很有帮助。

【讨论】：

如果您只有一个数据库实例，我认为您不应期待更多。在云环境中运行此测试。获取多个数据库服务器，生成一些种子数据，这样您就不必费心设置集群并返回报告。