如何在我的简单 Express 应用中使用 Node.js 集群?

Posted

技术标签:

【中文标题】如何在我的简单 Express 应用中使用 Node.js 集群?【英文标题】:How do I use Node.js clusters with my simple Express app? 【发布时间】:2012-05-26 16:30:34 【问题描述】:

——我构建了一个简单的应用程序,它从 Redis 数据库中提取数据(50 项)并将其发送到本地主机。我做了一个 ApacheBench(c = 100,n = 50000),我在双核 T2080 @ 1.73GHz(我的 6 年笔记本电脑)上获得了 150 个请求/秒,但 proc 的使用非常令人失望,因为显示:

只使用了一个核心,这与 Node 中的设计一致,但我认为如果我可以使用 Node.js 集群,我的请求数/秒几乎可以翻一番,达到约 300 个,甚至可能更多。我摆弄了很多,但我无法弄清楚如何将code given here 用于下面列出的我的应用程序:

var 
    express = require( 'express' ),
    app     = express.createServer(),
    redis   = require( 'redis' ).createClient();

app.configure( function() 
    app.set( 'view options',  layout: false  );
    app.set( 'view engine', 'jade' );
    app.set( 'views', __dirname + '/views' );
    app.use( express.bodyParser() );
 );

function log( what )  console.log( what ); 

app.get( '/', function( req, res ) 
    redis.lrange( 'items', 0, 50, function( err, items ) 
            if( err )  log( err );  else 
                res.render( 'index',  items: items  );
            
    );
);

app.listen( 8080 );

我还想强调,该应用程序是 I/O 密集型的(不是 CPU 密集型的,这会使 threads-a-gogo 之类的东西比集群更好)。

希望得到一些帮助来解决这个问题。

【问题讨论】:

【参考方案1】:

实际上,您的工作负载并不是真正的 I/O 限制:由于基于翡翠的动态页面生成的成本,它是 CPU 限制的。我猜不出你的翡翠模板有多复杂,但即使是简单的模板,生成 html 页面也很昂贵。

对于我的测试,我使用了这个模板:

html(lang="en")
  head
    title Example
  body
    h1 Jade - node template engine
    #container
      ul#users
        each user in items
          li User:#user

我在 Redis 中的 items 键中添加了 100 个虚拟字符串。

在我的机器上,我得到 475 req/s,node.js CPU 为 100%(这意味着这个双核机器上的 CPU 消耗为 50%)。让我们替换:

res.render( 'index',  items: items  );

作者:

res.send( '<html lang="en"><head><title>Example</title></head><body><h1>Jade - node template engine</h1><div id="container"><ul id="users"><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li><li>User:NOTHING</li></ul></div></body></html>' );

现在,基准测试的结果接近 2700 req/s。所以瓶颈显然是由于 HTML 页面的格式。

在这种情况下使用集群包是个好主意,而且很简单。代码可以修改如下:

var cluster = require('cluster')

if ( cluster.isMaster ) 
  for ( var i=0; i<2; ++i )
    cluster.fork();
 else 
  var
      express = require( 'express' ),
      app     = express.createServer(),
      redis   = require( 'redis' ).createClient();

  app.configure( function() 
      app.set( 'view options',  layout: false  );
      app.set( 'view engine', 'jade' );
      app.set( 'views', __dirname + '/views' );
      app.use( express.bodyParser() );
  );

  function log( what )  console.log( what ); 

  app.get( '/', function( req, res ) 
      redis.lrange( 'items', 0, 50, function( err, items ) 
            if( err )  log( err );  else 
              res.render( 'index',  items: items  );
            
      );
  );

  app.listen( 8080 );

现在基准测试的结果接近 750 req/s,CPU 消耗为 100%(与最初的 475 req/s 相比)。

【讨论】:

哇,谢谢!,效果非常好——imgur.com/Cpqy6——我昨天大部分时间都把它从 80 推到 150,现在一个简单的 if 块让所有工作看起来像花生。关于模板的说明很有教育意义;我知道会有一些成本,但没想到会是“475 到 2700”大。我可以优化 Express 吗?顺便说一句,我还想分享 CPU 统计信息 — imgur.com/n7WPv — 我的工作人员多达 15 个,但两个内核从未达到 100%。我还没有启用 Redis 持久性,所以它不应该接触磁盘,但是在 30K 请求标记附近,我的磁盘疯狂旋转。我忽略了什么吗? 性能瓶颈不是express而是jade。您可以尝试另一个模板引擎(仍在使用 express)。这是一个列表:github.com/joyent/node/wiki/modules#wiki-templating "性能瓶颈不是express,而是jade。" ——哎呀,我的意思是“翡翠”,但说的是“快递”。在你看来,什么比 Jade 更快? 根据我自己的基准,最快的依次是 Swig、nTenjin、thunder 和 doT。 你应该试试NODE_ENV=production node app.js而不是node app.js

以上是关于如何在我的简单 Express 应用中使用 Node.js 集群?的主要内容,如果未能解决你的问题,请参考以下文章

使用 Express.js 刷新特定输入值

为啥 Postman 在我的 React 应用程序中接收到 express 会话 cookie 而不是我的 post 请求

如何使用 Visual Studio Express 2013 将 C# 接口实现/合并到一个简单的 C++ 程序中

为啥 CORS 不能在我的 express/react 应用程序上运行?

如何在 Express Generator App Skeleton 中使用 Node Cluster 模块

如何在 Node-Express / Vue Web 应用程序中管理 OAuth?