如何在多个内核上线性扩展 NodeJS?

2022-09-03 08:04:28

我正在对NodeJS与Java进行快速性能测试。选择的简单用例是查询MySQL数据库中的单个表。初步结果如下:

Platform                      | DB Connections | CPU Usage | Memory Usage  | Requests/second
==============================|================|===========|===============|================
Node 0.10/MySQL               | 20             |  34%      |  57M          | 1295
JBoss EAP 6.2/JPA             | 20             | 100%      | 525M          | 4622
Spring 3.2.6/JDBC/Tomcat 7.0  | 20             | 100%      | 860M          | 4275

请注意,Node的CPU和内存使用率远低于Java,但吞吐量也约为三分之一!然后我意识到Java在我的CPU上利用了所有四个内核,而Node只在一个内核上运行。因此,我更改了 Node 代码以合并群集模块,现在它利用了所有四个核心。以下是新结果:

Platform                      | DB Connections | CPU Usage | Memory Usage  | Requests/second
==============================|================|===========|===============|================
Node 0.10/MySQL (quad core)   | 20 (5 x 4)     | 100%      | 228M (57 x 4) | 2213

请注意,CPU 和内存使用率现在已按比例上升,但吞吐量仅增加了 70%。我预计会增加四倍,超过Java吞吐量。我该如何解释这种减少?如何线性增加吞吐量?

以下是使用多个内核的代码:

if (Cluster.isMaster) {
    var numCPUs = require("os").cpus().length;
    for (var i = 0; i < numCPUs; i++) {
        Cluster.fork();
    }

    Cluster.on("exit", function(worker, code, signal) {
        Cluster.fork();
    });
}
else {
    // Create an express app
    var app = Express();
    app.use(Express.json());
    app.use(enableCORS);
    app.use(Express.urlencoded());

    // Add routes

    // GET /orders
    app.get('/orders', OrderResource.findAll);

    // Create an http server and give it the
    // express app to handle http requests
    var server = Http.createServer(app);
    server.listen(8080, function() {
        console.log('Listening on port 8080');
    });
}

我正在使用node-mysql驱动程序来查询数据库。连接池设置为每个核心 5 个连接,但这没有任何区别。如果我将此数字设置为 1 或 20,则将获得大致相同的吞吐量!

var pool = Mysql.createPool({
    host: 'localhost',
    user: 'bfoms_javaee',
    password: 'bfoms_javaee',
    database: 'bfoms_javaee',
    connectionLimit: 5
});

exports.findAll = function(req, res) {
    pool.query('SELECT * FROM orders WHERE symbol="GOOG"', function(err, rows, fields) {
        if (err) throw err;
        res.send(rows);
    });
};

答案 1

据我所知,您不仅比较了平台,还比较了框架。您可能希望消除框架效应并实现纯HTTP服务器。例如,Express应用程序中的所有这些中间件加起来就是延迟。另外,您是否确保Java库不会缓存经常请求的数据,从而显着提高性能?

其他需要考虑的事项是,Node中的内置模块(因此,在其上构建的任何库,包括)通过Agent类维护内部连接池(不要与MySQL连接池混淆),以便它可以利用HTTP保持活动状态。当您对同一服务器运行多个请求,而不是打开 TCP 连接、发出 HTTP 请求、获取响应、关闭 TCP 连接和重复时,这有助于提高性能。因此,可以重用 TCP 连接。httpnode-mysql

默认情况下,HTTP代理只会打开与单个主机(如MySQL服务器)的5个同时连接。您可以轻松更改此设置,如下所示:

var http = require('http');
http.globalAgent.maxSockets = 20;

考虑到这些变化,看看你能得到什么改进。

其他想法是通过在连接打开和关闭时检查MySQL日志来验证MySQL连接池是否正确使用。如果它们经常被打开,您可能需要增加 node-mysql 中的空闲超时值。


答案 2

尝试设置环境变量 。根据这篇博客文章export NODE_CLUSTER_SCHED_POLICY="rr"


推荐