在 node 中一次读取一行文件.js？

javascript node.js file-io lazy-evaluation

2022-08-29 22:34:47

我正在尝试一次一行地读取一个大文件。我在Quora上发现了一个涉及该主题的问题，但我缺少一些连接，以使整个事情结合在一起。

 var Lazy=require("lazy");
 new Lazy(process.stdin)
     .lines
     .forEach(
          function(line) { 
              console.log(line.toString()); 
          }
 );
 process.stdin.resume();

我想弄清楚的一点是，如何从文件中一次读取一行，而不是像本示例中那样读取 STDIN。

我试过了：

 fs.open('./VeryBigFile.csv', 'r', '0666', Process);

 function Process(err, fd) {
    if (err) throw err;
    // DO lazy read 
 }

但它不起作用。我知道在紧要关头我可以回过头来使用像PHP这样的东西，但我想弄清楚这一点。

我不认为另一个答案会起作用，因为该文件比我运行它的服务器具有内存的要大得多。

答案 1

由于Node.js 0.12，从Node.js v4.0.0开始，有一个稳定的readline核心模块。以下是从文件中读取行的最简单方法，无需任何外部模块：

const fs = require('fs');
const readline = require('readline');

async function processLineByLine() {
  const fileStream = fs.createReadStream('input.txt');

  const rl = readline.createInterface({
    input: fileStream,
    crlfDelay: Infinity
  });
  // Note: we use the crlfDelay option to recognize all instances of CR LF
  // ('\r\n') in input.txt as a single line break.

  for await (const line of rl) {
    // Each line in input.txt will be successively available here as `line`.
    console.log(`Line from file: ${line}`);
  }
}

processLineByLine();

或者：

var lineReader = require('readline').createInterface({
  input: require('fs').createReadStream('file.in')
});

lineReader.on('line', function (line) {
  console.log('Line from file:', line);
});

正确读取最后一行（从节点 v0.12 或更高版本开始），即使没有最终的 .\n

更新：此示例已添加到 Node 的 API 官方文档中。

答案 2

对于如此简单的操作，不应该依赖于第三方模块。轻松出行。

var fs = require('fs'),
    readline = require('readline');

var rd = readline.createInterface({
    input: fs.createReadStream('/path/to/file'),
    output: process.stdout,
    console: false
});

rd.on('line', function(line) {
    console.log(line);
});