NodeJS - 处理 100 多个并发连接的内存不足

Posted 2023-03-07

【中文标题】NodeJS - 处理 100 多个并发连接的内存不足

【英文标题】：NodeJS - Process out of memory for 100+ concurrent connections

【发布时间】：2018-02-06 00:02:50

【问题描述】：

我正在开发一个 IoT 应用程序，其中客户端每 2 秒向服务器发送一次生物电势信息。客户端每 2 秒发送一个包含 400 行数据的 CSV 文件。我的服务器上运行着一个 Socket.IO websocket 服务器，它从每个客户端捕获此信息。一旦捕获到此信息，服务器必须为每个客户端每 2 秒将这 400 条记录推送到 mysql 数据库中。虽然只要客户端数量很少，这种方法就可以很好地工作，但随着客户端数量的增加，服务器开始抛出“进程内存不足异常”。

以下是收到的异常：

<--- Last few GCs --->
   98522 ms: Mark-sweep 1397.1 (1457.9) -> 1397.1 (1457.9) MB, 1522.7 / 0 ms [allocation failure] [GC in old space requested].
  100059 ms: Mark-sweep 1397.1 (1457.9) -> 1397.0 (1457.9) MB, 1536.9 / 0 ms [allocation failure] [GC in old space requested].
  101579 ms: Mark-sweep 1397.0 (1457.9) -> 1397.0 (1457.9) MB, 1519.9 / 0 ms [last resort gc].
  103097 ms: Mark-sweep 1397.0 (1457.9) -> 1397.0 (1457.9) MB, 1517.9 / 0 ms [last resort gc].


<--- JS stacktrace --->

==== JS stack trace =========================================

Security context: 0x35cc9bbb4629 <JS Object>
    2: format [/xxxx/node_modules/mysql/node_modules/sqlstring/lib/SqlString.js:~73] [pc=0x6991adfdf6f] (this=0x349863632099 <an Object with map 0x209c9c99fbd1>,sql=0x2dca2e10a4c9 <String[84]: Insert into rent_66 (sample_id,sample_time, data_1,data_2,data_3) values ? >,values=0x356da3596b9 <JS Array[1]>,stringifyObjects=0x35cc9bb04251 <false>,timeZone=0x303eff...

FATAL ERROR: CALL_AND_RETRY_LAST Allocation failed - process out of memory
Aborted

以下是我的服务器的代码：

var app = require('express')();
var http = require('http').Server(app);
var io = require('socket.io')(http);
var mysql = require('mysql');

var conn = mysql.createConnection(
    host: '<host>',
    user: '<user>',
    password: '<password>',
    database: '<db>',
    debug: false,
);

conn.connect();

io.on('connection', function (socket)
   console.log('connection');
var finalArray = []
   socket.on('data_to_save', function (from, msg) 
   var str_arr = msg.split("\n");
   var id = str_arr[1];
   var timestamp = str_arr[0];
   var data = str_arr.splice(2);
   finalArray = [];
   var dataPoint = [];
   data.forEach(function(value)
        dataPoint = value.split(",");
        if(dataPoint[0]!='')
                finalArray.push([dataPoint[0],1,dataPoint[1],dataPoint[2],dataPoint[3]]);
                finalArray.push([dataPoint[0],1,dataPoint[4],dataPoint[5],dataPoint[5]]);
        
   );
   var sql = "Insert into rent_"+id+" (sample_id,sample_time, channel_1,channel_2,channel_3) values ? ";
   var query = conn.query (sql, [finalArray],function(err,result)
       if(err)
           console.log(err);
        else
         console.log(result);
   );

   conn.commit();
   console.log('MSG  from ' +  str_arr[1] + ' ' + str_arr[0] );

);

);
http.listen(9000, function () 
  console.log('listening on *:9000');
);

我能够让服务器处理 100 个并发连接，之后我开始接收进程内存不足异常。在引入数据库插入之前，服务器只需将 csv 作为文件存储在磁盘上。通过该设置，服务器能够处理 1200 多个并发连接。

根据互联网上的可用信息，看起来数据库插入查询（这是异步的）将 400 行数组保存在内存中，直到插入完成。结果，随着客户端数量的增加，服务器的内存占用量增加，从而最终耗尽内存。

我确实浏览了互联网上关于--max_old_space_size 的许多建议，我不确定这是一个长期的解决方案。另外，我不确定我应该根据什么来决定这里应该提到的值。

另外，我已经阅读了有关异步实用程序模块的建议。但是，串行插入数据可能会在客户端插入数据和服务器将数据保存到数据库之间产生巨大的延迟。

我已经围绕这个问题转了很多次。有没有办法服务器可以处理来自 1000 多个并发客户端的信息，并将这些数据以最小的延迟保存到 Mysql 数据库中。我在这里遇到了障碍，非常感谢这方面的任何帮助。

【问题讨论】：

我不知道这是如何进入您的代码的，但这里的引号不是合法的 javascript：socket.on(‘data_to_save’, ...)。

我不是 MySQL 专家，更好的配置可能会产生一个好的解决方案，或者我建议使用更轻量级的数据库系统，例如 MongoDB。

我先把你的数据库代码注释掉，看看你能不能只处理传入的消息。如果你能处理得很好，那么问题出在你的数据库代码上（可能是内存或资源泄漏）。

你在哪里？有两个人想帮忙，而你不是来通信的。这与其他驾车论坛不同。如果您在发帖后闲逛 30 分钟左右，以吸引试图提供帮助的人，*** 最适合您。

自行运行请求处理，根本不保存结果。看看你能走多高。如果你能做到这一点（比如数千），那么你就会得到答案。您的数据库代码使用了太多内存，您将不得不学习更多关于如何优化它或如何提高其可扩展性的知识。

【参考方案1】：

我会总结一下我的 cmets，因为他们让您找到了解决问题的正确路径。

首先，您必须确定问题是否是由您的数据库引起的。最简单的方法是注释掉数据库部分，看看你可以扩展多高。如果您在没有内存或 CPU 问题的情况下进入数千个，那么您的重点可以转移到找出为什么将数据库代码添加到混合中会导致问题。

假设问题是由您的数据库引起的，那么您需要开始了解当有大量活动的数据库请求时它是如何处理事情的。通常，在繁忙的数据库中使用的第一件事是connection pooling。这为您提供了三个有助于扩展的主要内容。

它使您可以快速重用以前打开的连接，因此您不必让每个操作都创建自己的连接然后关闭它。 它允许您指定池中同时需要的最大同时数据库连接数（控制您向数据库抛出的最大负载，还可能限制它将使用的最大内存量）。超出该限制的连接将被排队（这通常是您在高负载情况下想要的，这样您就不会压倒您拥有的资源）。 它可以更轻松地查看您是否有连接泄漏问题，而不是仅仅泄漏连接直到您用完一些资源，池在测试中很快就会变空并且您的服务器将无法处理更多事务（因此您更有可能在测试中发现问题）。

然后，您可能还想查看数据库连接的事务时间，以了解它们处理任何给定事务的速度。您知道每秒尝试处理多少事务，因此您需要查看您的数据库以及它的配置和资源方式（内存、CPU、磁盘速度等）是否能够跟上您的负载想扔它。

【参考方案2】：

您应该使用以下命令增加默认内存（512MB）：

节点 --max-old-space-size=1024 index.js

这会将大小增加到 1GB。您可以使用该命令进一步增加默认内存。