节点和错误：EMFILE，打开的文件太多

javascript node.js macos

2022-08-30 01:06:54

几天来，我一直在寻找错误的工作解决方案

错误：EMFILE，打开的文件太多

似乎很多人都有同样的问题。通常的答案涉及增加文件描述符的数量。所以，我试过了这个：

sysctl -w kern.maxfiles=20480

默认值为 10240。这在我看来有点奇怪，因为我在目录中处理的文件数量低于10240。更奇怪的是，在我增加文件描述符的数量后，我仍然会收到相同的错误。

第二个问题：

经过多次搜索，我发现了“打开的文件太多”问题的解决方法：

var requestBatches = {};
function batchingReadFile(filename, callback) {
  // First check to see if there is already a batch
  if (requestBatches.hasOwnProperty(filename)) {
    requestBatches[filename].push(callback);
    return;
  }

  // Otherwise start a new one and make a real request
  var batch = requestBatches[filename] = [callback];
  FS.readFile(filename, onRealRead);
  
  // Flush out the batch on complete
  function onRealRead() {
    delete requestBatches[filename];
    for (var i = 0, l = batch.length; i < l; i++) {
      batch[i].apply(null, arguments);
    }
  }
}

function printFile(file){
    console.log(file);
}

dir = "/Users/xaver/Downloads/xaver/xxx/xxx/"

var files = fs.readdirSync(dir);

for (i in files){
    filename = dir + files[i];
    console.log(filename);
    batchingReadFile(filename, printFile);

不幸的是，我仍然收到相同的错误。此代码有什么问题？

答案 1

当 graceful-fs 不起作用时...或者您只是想了解泄漏的来源。请遵循此过程。

（例如，如果你的问题是插座，graceful-fs不会修复你的旅行车。

来自我的博客文章： http://www.blakerobertson.com/devlog/2014/1/11/how-to-determine-whats-causing-error-connect-emfile-nodejs.html

如何隔离

此命令将输出 nodejs 进程的打开句柄数：

lsof -i -n -P | grep nodejs

COMMAND     PID    USER   FD   TYPE    DEVICE SIZE/OFF NODE NAME
...
nodejs    12211    root 1012u  IPv4 151317015      0t0  TCP 10.101.42.209:40371->54.236.3.170:80 (ESTABLISHED)
nodejs    12211    root 1013u  IPv4 151279902      0t0  TCP 10.101.42.209:43656->54.236.3.172:80 (ESTABLISHED)
nodejs    12211    root 1014u  IPv4 151317016      0t0  TCP 10.101.42.209:34450->54.236.3.168:80 (ESTABLISHED)
nodejs    12211    root 1015u  IPv4 151289728      0t0  TCP 10.101.42.209:52691->54.236.3.173:80 (ESTABLISHED)
nodejs    12211    root 1016u  IPv4 151305607      0t0  TCP 10.101.42.209:47707->54.236.3.172:80 (ESTABLISHED)
nodejs    12211    root 1017u  IPv4 151289730      0t0  TCP 10.101.42.209:45423->54.236.3.171:80 (ESTABLISHED)
nodejs    12211    root 1018u  IPv4 151289731      0t0  TCP 10.101.42.209:36090->54.236.3.170:80 (ESTABLISHED)
nodejs    12211    root 1019u  IPv4 151314874      0t0  TCP 10.101.42.209:49176->54.236.3.172:80 (ESTABLISHED)
nodejs    12211    root 1020u  IPv4 151289768      0t0  TCP 10.101.42.209:45427->54.236.3.171:80 (ESTABLISHED)
nodejs    12211    root 1021u  IPv4 151289769      0t0  TCP 10.101.42.209:36094->54.236.3.170:80 (ESTABLISHED)
nodejs    12211    root 1022u  IPv4 151279903      0t0  TCP 10.101.42.209:43836->54.236.3.171:80 (ESTABLISHED)
nodejs    12211    root 1023u  IPv4 151281403      0t0  TCP 10.101.42.209:43930->54.236.3.172:80 (ESTABLISHED)
....

请注意：1023u（最后一行） - 这是默认最大值的第 1024 个文件句柄。

现在，查看最后一列。这表示哪个资源处于打开状态。您可能会看到许多行都具有相同的资源名称。希望现在这可以告诉您在代码中查找泄漏的位置。

如果您不知道多个节点进程，请先查找哪个进程具有 pid 12211。这将告诉您该过程。

在我上面的例子中，我注意到有一堆非常相似的IP地址。他们都通过进行IP地址查找，能够在我的情况下确定它与pubnub相关。54.236.3.###

命令参考

使用此语法可以确定进程已打开的打开句柄数...

获取某个 pid 的打开文件计数

我使用此命令来测试在我的应用中执行各种事件后打开的文件数。

lsof -i -n -P | grep "8465" | wc -l

# lsof -i -n -P | grep "nodejs.*8465" | wc -l
28
# lsof -i -n -P | grep "nodejs.*8465" | wc -l
31
# lsof -i -n -P | grep "nodejs.*8465" | wc -l
34

你们的工艺限制是多少？

ulimit -a

所需的行将如下所示：

open files                      (-n) 1024

永久更改限制：

在 Ubuntu 14.04 上测试，nodejs v. 7.9

如果您期望打开许多连接（websockets就是一个很好的例子），您可以永久增加限制：

file： /etc/pam.d/common-session （添加到末尾）
```
  session required pam_limits.so
```
file： /etc/security/limits.conf （添加到末尾，如果已经存在，则进行编辑）
```
  root soft  nofile 40000
  root hard  nofile 100000
```
重新启动 nodejs 并从 ssh 注销/登录。
这可能不适用于较旧的NodeJS，您需要重新启动服务器
使用，而不是在节点使用不同的 uid 运行时使用。

答案 2

使用Isaac Schlueter（节点.js维护者）的gracyful-fs模块可能是最合适的解决方案。如果遇到 EMFILE，它会执行增量回退。它可以用作内置模块的直接替代品。fs