如何在SpringBatch中提高FlatFileItemReader的性能？

Question

我正在编写spring批处理，它从平面文件中读取数据，很少进行处理，并将摘要写入输出文件。与reader相比，我的处理器和写入程序相对更快。我正在使用FlatFileItemReader，并尝试了从50-1000开始的各种提交间隔。我的批处理作业必须以更快的速度处理1000万条记录。请告诉我如何提高FlatFileItemReader的速度。粘贴到我的配置文件和映射器类下面，读取字段集并将值设置为POJO bean。提前非常感谢。

BatchFileConfig。xml

<!-- Flat File Item Reader and its dependency configuration starts here -->
<bean id="flatFileReader" class="org.springframework.batch.item.file.FlatFileItemReader">
    <property name="resource" value="classpath:flatfiles/input_10KFile.txt" />
    <property name="encoding" value="UTF-8" />
    <property name="linesToSkip" value="1" />
    <property name="lineMapper">
        <bean class="org.springframework.batch.item.file.mapping.DefaultLineMapper">
            <property name="lineTokenizer">
                <bean
                    class="org.springframework.batch.item.file.transform.DelimitedLineTokenizer">
                    <property name="names"
                        value="var1,var2,var3,var4,var5,var6" />
                    <property name="delimiter" value="&#009;" />
                    <property name="strict" value="false" />
                </bean>
            </property>
            <property name="fieldSetMapper" ref="companyMapper">
            </property>
        </bean>
    </property>
</bean>

公司Mapper.java

 public Company mapFieldSet(FieldSet fieldSet) throws BindException {
    logger.warn("Start time is "+System.currentTimeMillis());
    if (fieldSet != null) {
    Company company = new Company();
    company.setvar1(fieldSet.readString("var1"));
    company.setvar2(fieldSet.readInt("var2"));
    company.setvar3(fieldSet.readString("var3"));
    company.setvar4(fieldSet.readInt("var4"));
    company.setvar5(fieldSet.readInt("var5"));
    company.setvar6(fieldSet.readInt("var6"));
    return company;
    }
    return null;
}

Answer 1

你好，提高阅读器速度的最终方法是在内存中读取文件。如果你有足够的内存，你可以一次读取它。如果你没有，你可以尽可能多地阅读。一旦将其存储在内存中，就需要实现“资源”，而物理文件将指向文件的内存内容。如果现代硬盘速度超过每秒500mg，即使是巨大的文件也会在内存中完全读取几秒钟。

一旦它进入内存，您的所有操作都将以数量级的速度运行。如果您愿意，这也将为您提供线性扩展功能。

如果您的内容在内存中，您可以轻松地并行工作，而不会在硬盘周围形成瓶颈。

Answer 2

我想既然你说的是1000万数据，我建议你使用spring批处理缩放功能。我最近实施了向db发布500-800万个数据。为了获得性能，我使用文件通道（快速读/写）将文件拆分为100万个，然后使用分区，在从属步骤中使用单独的线程读取100万个文件。虽然对于小数据，您可能无法获得良好的性能差异，但对于这种规模的数据，会产生巨大的差异。而且正如@M.Deinum所建议的，尝试删除日志记录。它肯定会慢下来。

Answer 3

我认为您不能太快地加快流程：//code>CompanyMapper已经是一个定制的实现，所以您可以考虑：

1. 编写一个自定义的LineTokinizer字段集，以避免大量（有用的）检查和错误处理