使用Java分割1GB Xml文件

Question

我有一个1GB的Xml文件，如何使用Java将其拆分成格式更小的Xml文件？

这是一个例子：

<records>
  <record id="001">
    <name>john</name>
  </record>
 ....
</records>

谢谢。

Answer 1

在这种情况下，我将使用StAX解析器。这样可以防止将整个文档一次读入内存。

1. 将XMLStreamReader推进到子片段的本地根元素。
2. 然后，您可以使用javax.xml.transform API从此XML片段中生成一个新文档。这会将XMLStreamReader推进到该片段的末尾。
3. 对下一个片段重复步骤1。

代码示例

对于以下XML，将每个“语句”部分输出到以“帐户属性值”命名的文件中：

<statements>
   <statement account="123">
      ...stuff...
   </statement>
   <statement account="456">
      ...stuff...
   </statement>
</statements>

可以使用以下代码完成此操作：

import java.io.File;
import java.io.FileReader;
import javax.xml.stream.XMLInputFactory;
import javax.xml.stream.XMLStreamConstants;
import javax.xml.stream.XMLStreamReader;
import javax.xml.transform.Transformer;
import javax.xml.transform.TransformerFactory;
import javax.xml.transform.stax.StAXSource;
import javax.xml.transform.stream.StreamResult;

public class Demo {

    public static void main(String[] args) throws Exception  {
        XMLInputFactory xif = XMLInputFactory.newInstance();
        XMLStreamReader xsr = xif.createXMLStreamReader(new FileReader("input.xml"));
        xsr.nextTag(); // Advance to statements element

        TransformerFactory tf = TransformerFactory.newInstance();
        Transformer t = tf.newTransformer();
        while(xsr.nextTag() == XMLStreamConstants.START_ELEMENT) {
            File file = new File("out/" + xsr.getAttributeValue(null, "account") + ".xml");
            t.transform(new StAXSource(xsr), new StreamResult(file));
        }
    }

}