如何使用Java逐行读取大型文本文件？

performance file-io garbage-collection java io

2022-08-31 04:00:04

我需要使用Java逐行读取大约5-6 GB的大型文本文件。

我怎样才能快速完成此操作？

答案 1

一种常见的模式是使用

try (BufferedReader br = new BufferedReader(new FileReader(file))) {
    String line;
    while ((line = br.readLine()) != null) {
       // process the line.
    }
}

如果您假设没有字符编码，则可以更快地读取数据。例如ASCII-7，但它不会有太大区别。您处理数据的过程很可能会花费更长的时间。

编辑：一种不太常见的模式，避免了泄漏的范围。line

try(BufferedReader br = new BufferedReader(new FileReader(file))) {
    for(String line; (line = br.readLine()) != null; ) {
        // process the line.
    }
    // line is not visible here.
}

更新：在Java 8中，你可以做

try (Stream<String> stream = Files.lines(Paths.get(fileName))) {
        stream.forEach(System.out::println);
}

注意：您必须将 Stream 放在资源试用块中，以确保在其上调用 #close 方法，否则基础文件句柄永远不会关闭，直到 GC 稍后再执行此操作。

答案 2

看看这个博客：

Java 逐行读取文件 - Java 教程

可以指定缓冲区大小，也可以使用默认大小。默认值足以满足大多数用途。

// Open the file
FileInputStream fstream = new FileInputStream("textfile.txt");
BufferedReader br = new BufferedReader(new InputStreamReader(fstream));

String strLine;

//Read File Line By Line
while ((strLine = br.readLine()) != null)   {
  // Print the content on the console
  System.out.println (strLine);
}

//Close the input stream
fstream.close();