XSLT 1.0:CSV到XML--如何分而治之

Question

在大量引用堆栈溢出答案之后，我有了以下XSL，它使用列标题作为每个相应单元格的节点名，将CSV转换为XML。

<xsl:stylesheet version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform" 
    exclude-result-prefixes="xsl">
    <xsl:output method="xml" encoding="utf-8" />

    <xsl:variable name="newline" select="'&#10;'" />
    <xsl:variable name="comma" select="','" />
    <xsl:variable name="csv" select="." />
    <xsl:variable name="fields" select="substring-before( concat( $csv, $newline ), $newline )" />

    <xsl:template match="/">
        <xsl:element name="EXCHANGE">
            <xsl:element name="DDM">
                <xsl:call-template name="write-row">
                    <xsl:with-param name="rows" select="substring-after( $csv, $newline)"/>
                </xsl:call-template>
            </xsl:element>
        </xsl:element>
    </xsl:template>

    <xsl:template name="write-row">
        <xsl:param name="rows"/>

        <xsl:variable name="this-row" select="substring-before( concat( $rows, $newline ), $newline )" />
        <xsl:variable name="remaining-rows" select="substring-after( $rows, $newline )" />

        <xsl:if test="string-length($this-row) > 1">
            <xsl:element name="DDMSRS">
                <xsl:call-template name="write-item">
                    <xsl:with-param name="columns" select="$fields"/>
                    <xsl:with-param name="row" select="$this-row" />
                </xsl:call-template>
            </xsl:element>
        </xsl:if>

        <xsl:if test="string-length( $remaining-rows ) > 0">
            <xsl:call-template name="write-row">
                <xsl:with-param name="rows" select="$remaining-rows" />
            </xsl:call-template>
        </xsl:if>
    </xsl:template>


    <xsl:template name="write-item">
        <xsl:param name="row"/>
        <xsl:param name="columns"/>

        <xsl:variable name="col" select="substring-before( concat( $columns, $comma ), $comma)" />
        <xsl:variable name="remaining-items" select="substring-after( $row, $comma )" />
        <xsl:variable name="remaining-columns" select="substring-after( $columns, $comma )" />

        <xsl:if test="$col != ''">
            <xsl:element name="{$col}">
                <xsl:value-of select="substring-before( concat( $row, $comma ), $comma)" /> 
            </xsl:element>
        </xsl:if>

        <xsl:if test="string-length( $remaining-items ) > 0">
            <xsl:call-template name="write-item">
                <xsl:with-param name="columns" select="$remaining-columns"/>
                <xsl:with-param name="row" select="$remaining-items" />
            </xsl:call-template>
        </xsl:if>
    </xsl:template>

</xsl:stylesheet>

在csv上运行XSL如下所示（换行符是行分隔符）：

<root><![CDATA[COL_HEAD1,COL_HEAD2,COL_HEAD3
123456789,Peter,My address
]]></root>

将返回以下XML：

<?xml version="1.0" encoding="utf-8"?>
<EXCHANGE>
    <DDM>
        <DDMSRS>
            <COL_HEAD1>123456789</COL_HEAD1>
            <COL_HEAD2>Peter</COL_HEAD2>
            <COL_HEAD3>My address</COL_HEAD3>
        </DDMSRS>
    </DDM>
</EXCHANGE>

我现在遇到的问题是，当我想在csv（1000或更多）中处理大量行时，我会耗尽内存。

我在其他stackoverflow问题中看到了分而治之的提法，但我不知道如何将字符串一分为二。

所以我的问题是：

1. 如何在此方案中执行分而治之？
2. 是否有其他使用XSLT 1.0提高此XSL性能的方法？

Answer 1

在此场景中使用XSLT执行分而治之并不简单。有很多方法可以优化XSLT处理，您可能希望尝试一个不同的处理器，它可以做不同的事情，但是您的代码不容易改进，因为它实际上不做任何XML处理。它对包含字符串的一个大的单个元素节点进行操作。您实际上只是使用XPath函数来解析字符串，并使用XSLT变量来存储字符串。排除XSLT开销会更有效。

您的选项包括：

1. 增加内存（使用-xmx选项）。
2. 将文件分解为更小的部分（这些部分需要格式良好的XML)，并在XSLT中分别处理每个部分。

但是XSLT不能帮助您使用选项No。2,因为要开始处理您的文件,需要将其全部加载到内存中。它不能加载部分文本并将其拆分，因为每个片段必须是格式良好的XML。即使是SAX解析器也没有那么高效，因为您只有一个节点。最好使用高效的字符串解析器，在这里可以拆分CSV，然后将每个片段包装在XML标记中。