如何在 Java 中解析大型 （50 GB） XML 文件

您的解析代码可能工作正常，但是您正在加载的数据量可能太大而无法在内存中保存。ArrayList

您需要某种管道将数据传递到其实际目标，而无需一次将其全部存储在内存中。

我有时对这种情况所做的类似于以下内容。

创建用于处理单个元素的接口：

public interface PageProcessor {
    void process(Page page);
}

通过构造函数提供此实现：PageHandler

public class Read  {
    public static void main(String[] args) {

        XMLManager.load(new PageProcessor() {
            @Override
            public void process(Page page) {
                // Obviously you want to do something other than just printing, 
                // but I don't know what that is...
                System.out.println(page);
           }
        }) ;
    }

}


public class XMLManager {

    public static void load(PageProcessor processor) {
        SAXParserFactory factory = SAXParserFactory.newInstance();

        try {

            SAXParser parser = factory.newSAXParser();
            File file = new File("pages-articles.xml");
            PageHandler pageHandler = new PageHandler(processor);

            parser.parse(file, pageHandler);

        } catch (ParserConfigurationException e) {
            e.printStackTrace();
        } catch (SAXException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }

    }
}

将数据发送到此处理器，而不是将其放在列表中：

public class PageHandler extends DefaultHandler {

    private final PageProcessor processor;
    private Page page;
    private StringBuilder stringBuilder;
    private boolean idSet = false;

    public PageHandler(PageProcessor processor) {
        this.processor = processor;
    }

    @Override
    public void startElement(String uri, String localName, String qName, Attributes attributes) throws SAXException {
         //Unchanged from your implementation
    }

    @Override
    public void characters(char[] ch, int start, int length) throws SAXException {
         //Unchanged from your implementation
    }

    @Override
    public void endElement(String uri, String localName, String qName) throws SAXException {
            //  Elide code not needing change

            } else if (qName.equals("page")){

                processor.process(page);
                page = null;

            }
        } else {
            page = null;
        }
    }

}

当然，您可以让界面处理多个记录的块，而不仅仅是一个记录，并将收集页面放在一个较小的列表中，并定期发送列表进行处理并清除列表。PageHandler

或者（也许更好）您可以实现此处定义的接口，并在其中构建逻辑来缓冲数据并将其发送到块中以进行进一步处理。PageProcessor

Don Roby的方法有点让人想起我创建代码生成器的方法，旨在解决这个特定的问题（早期版本是在2008年构思的）。基本上，每个都有其等效项，并且当上下文更改为该元素时，特定类型的处理程序将被激活。我将这种方法用于SEPA，交易银行业务以及例如Discogs（30GB）。您可以指定要在运行时处理的元素，使用 propeties 文件以声明方式进行处理。complexTypeJava POJO

XML2J 一方面使用 到 Java POJO 的映射，但允许您指定要侦听的事件。例如：complexTypes

account/@process = true
account/accounts/@process = true
account/accounts/@detach = true

本质在第三行。分离可确保不会将单个帐户添加到帐户列表中。所以它不会溢出。

class AccountType {
    private List<AccountType> accounts = new ArrayList<>();

    public void addAccount(AccountType tAccount) {
        accounts.add(tAccount);
    }
    // etc.
};

在代码中，您需要实现 process 方法（默认情况下，代码生成器会生成一个空方法：

class AccountsProcessor implements MessageProcessor {
    static private Logger logger = LoggerFactory.getLogger(AccountsProcessor.class);

    // assuming Spring data persistency here
    final String path = new ClassPathResource("spring-config.xml").getPath();
    ClassPathXmlApplicationContext context = new   ClassPathXmlApplicationContext(path);
    AccountsTypeRepo repo = context.getBean(AccountsTypeRepo.class);


    @Override
    public void process(XMLEvent evt, ComplexDataType data)
        throws ProcessorException {

        if (evt == XMLEvent.END) {
            if( data instanceof AccountType) {
                process((AccountType)data);
            }
        }
    }

    private void process(AccountType data) {
        if (logger.isInfoEnabled()) {
            // do some logging
        }
        repo.save(data);
    }
}   

请注意，标记元素的结束标记。因此，当您处理它时，它是完整的。如果必须将其（使用 FK）与数据库中的父对象相关联，则可以为父对象处理 ，在数据库中创建一个占位符，并使用其键与其每个子对象一起存储。在最后，您将更新父级。XMLEvent.ENDXMLEvent.BEGINXMLEvent.END

请注意，代码生成器会生成您需要的所有内容。你只需要实现该方法，当然还有DB胶水代码。

有一些示例可以帮助您入门。代码生成器甚至可以生成您的POM文件，因此您可以在生成后立即构建项目。

默认的处理方法如下所示：

@Override
public void process(XMLEvent evt, ComplexDataType data)
    throws ProcessorException {


/*
 *  TODO Auto-generated method stub implement your own handling here.
 *  Use the runtime configuration file to determine which events are to be sent to the processor.
 */ 

    if (evt == XMLEvent.END) {
        data.print( ConsoleWriter.out );
    }
}

下载：

• https://github.com/lolkedijkstra/xml2j-core
• https://github.com/lolkedijkstra/xml2j-gen
• https://sourceforge.net/projects/xml2j/

首先是核心（它必须在本地 maven 存储库中），然后是生成器。不要忘记按照用户手册中的指示设置环境变量。mvn clean installXML2J_HOME