Java：InputStream太慢，无法读取大型文件

java inputstream large-files java-native-interface

2022-09-03 06:07:00

我必须逐个字符读取53 MB的文件。当我使用ifstream C++完成它时，它会在几毫秒内完成，但是使用Java InputStream则需要几分钟。Java这么慢是正常的，还是我错过了什么？

另外，我需要在Java中完成程序（它使用servlet，我必须从中调用处理这些字符的函数）。我在想也许可以用C或C++编写文件处理部分，然后使用Java Native Interface将这些函数与我的Java程序接口......这个想法是怎么回事？

任何人都可以给我任何其他提示...我真的需要更快地读取文件。我尝试使用缓冲输入，但它仍然没有提供接近C++的性能。

已编辑：我的代码跨越多个文件，它非常脏，所以我给出了概要

import java.io.*;

public class tmp {
    public static void main(String args[]) {
        try{
        InputStream file = new BufferedInputStream(new FileInputStream("1.2.fasta"));
        char ch;        
        while(file.available()!=0) {
            ch = (char)file.read();
                    /* Do processing */
            }
        System.out.println("DONE");
        file.close();
        }catch(Exception e){}
    }
}

答案 1

我用一个183 MB的文件运行了这个代码。它打印了“已用 250 毫秒”。

final InputStream in = new BufferedInputStream(new FileInputStream("file.txt"));
final long start = System.currentTimeMillis();
int cnt = 0;
final byte[] buf = new byte[1000];
while (in.read(buf) != -1) cnt++;
in.close();
System.out.println("Elapsed " + (System.currentTimeMillis() - start) + " ms");

答案 2

我会试试这个

// create the file so we have something to read.
final String fileName = "1.2.fasta";
FileOutputStream fos = new FileOutputStream(fileName);
fos.write(new byte[54 * 1024 * 1024]);
fos.close();

// read the file in one hit.
long start = System.nanoTime();
FileChannel fc = new FileInputStream(fileName).getChannel();
ByteBuffer bb = fc.map(FileChannel.MapMode.READ_ONLY, 0, fc.size());
while (bb.remaining() > 0)
    bb.getLong();
long time = System.nanoTime() - start;
System.out.printf("Took %.3f seconds to read %.1f MB%n", time / 1e9, fc.size() / 1e6);
fc.close();
((DirectBuffer) bb).cleaner().clean();

指纹

Took 0.016 seconds to read 56.6 MB