压缩目录到tar.gz与共享资源压缩

compression java tar apache-commons apache-commons-compress

2022-09-03 04:06:30

我遇到了一个问题，使用共享资源压缩库来创建目录的tar.gz。我有一个目录结构，如下所示。

parent/
    child/
        file1.raw
        fileN.raw

我使用以下代码进行压缩。它运行良好，没有例外。但是，当我尝试解压缩tar.gz时，我得到一个名为“childDirToCompress”的文件。它的大小是正确的，因此文件在涂鸦过程中已清楚地相互追加。所需的输出将是一个目录。我不知道我做错了什么。任何明智的公地压缩器都能让我走上正确的道路吗？

CreateTarGZ() throws CompressorException, FileNotFoundException, ArchiveException, IOException {
            File f = new File("parent");
            File f2 = new File("parent/childDirToCompress");

            File outFile = new File(f2.getAbsolutePath() + ".tar.gz");
            if(!outFile.exists()){
                outFile.createNewFile();
            }
            FileOutputStream fos = new FileOutputStream(outFile);

            TarArchiveOutputStream taos = new TarArchiveOutputStream(new GZIPOutputStream(new BufferedOutputStream(fos)));
            taos.setBigNumberMode(TarArchiveOutputStream.BIGNUMBER_STAR); 
            taos.setLongFileMode(TarArchiveOutputStream.LONGFILE_GNU);
            addFilesToCompression(taos, f2, ".");
            taos.close();

        }

        private static void addFilesToCompression(TarArchiveOutputStream taos, File file, String dir) throws IOException{
            taos.putArchiveEntry(new TarArchiveEntry(file, dir));

            if (file.isFile()) {
                BufferedInputStream bis = new BufferedInputStream(new FileInputStream(file));
                IOUtils.copy(bis, taos);
                taos.closeArchiveEntry();
                bis.close();
            }

            else if(file.isDirectory()) {
                taos.closeArchiveEntry();
                for (File childFile : file.listFiles()) {
                    addFilesToCompression(taos, childFile, file.getName());

                }
            }
        }

答案 1

我遵循了这个解决方案，它一直工作到我正在处理更大的文件集，并且在处理15000 - 16000个文件后随机崩溃。以下行正在泄漏文件处理程序：

IOUtils.copy(new FileInputStream(f), tOut);

并且代码在操作系统级别崩溃并出现“打开的文件太多”错误以下小更改修复了此问题：

FileInputStream in = new FileInputStream(f);
IOUtils.copy(in, tOut);
in.close();

答案 2

我还没有弄清楚到底出了什么问题，但是搜索谷歌缓存，我发现了一个工作的例子。对不起风滚草！

public void CreateTarGZ()
    throws FileNotFoundException, IOException
{
    try {
        System.out.println(new File(".").getAbsolutePath());
        dirPath = "parent/childDirToCompress/";
        tarGzPath = "archive.tar.gz";
        fOut = new FileOutputStream(new File(tarGzPath));
        bOut = new BufferedOutputStream(fOut);
        gzOut = new GzipCompressorOutputStream(bOut);
        tOut = new TarArchiveOutputStream(gzOut);
        addFileToTarGz(tOut, dirPath, "");
    } finally {
        tOut.finish();
        tOut.close();
        gzOut.close();
        bOut.close();
        fOut.close();
    }
}

private void addFileToTarGz(TarArchiveOutputStream tOut, String path, String base)
    throws IOException
{
    File f = new File(path);
    System.out.println(f.exists());
    String entryName = base + f.getName();
    TarArchiveEntry tarEntry = new TarArchiveEntry(f, entryName);
    tOut.putArchiveEntry(tarEntry);

    if (f.isFile()) {
        IOUtils.copy(new FileInputStream(f), tOut);
        tOut.closeArchiveEntry();
    } else {
        tOut.closeArchiveEntry();
        File[] children = f.listFiles();
        if (children != null) {
            for (File child : children) {
                System.out.println(child.getName());
                addFileToTarGz(tOut, child.getAbsolutePath(), entryName + "/");
            }
        }
    }
}