Spring批处理-读取大型平面文件-选择横向缩放？

Question

问题：

使用远程分块或分区来水平缩放？

由于数据在平面文件中，远程分块和分区都是不好的选择？

Answer 1

假设“次要处理”不是处理中的瓶颈，那么扩展这种类型的作业的最佳选择是通过分区。这项工作有两个步骤。第一种方法是将大文件拆分为更小的文件。为此，我建议使用SystemCommandTasklet将文件shell到OS，以拆分文件（这通常比通过JVM流式传输整个文件性能更好）。这样做的一个示例如下所示：

<bean id="fileSplittingTasklet" class="org.springframework.batch.core.step.tasklet.SystemCommandTasklet" scope="step">
    <property name="command" value="split -a 5 -l 10000 #{jobParameters['inputFile']} #{jobParameters['stagingDirectory']}"/>
    <property name="timeout" value="60000"/>
    <property name="workingDirectory" value="/tmp/input_temp"/>
</bean>

第二步将是分区步骤。如果文件位于不共享的位置，则使用本地分区。但是，如果生成的文件位于网络共享的某个地方，则可以使用远程分区。在任何一种情况下，都可以使用MultiResourcePartitioner为每个文件生成StepExecution。然后这些将通过从属程序执行（要么在线程上本地运行，要么远程监听某些消息传递中间件）。

在这种方法中需要注意的一点是，从原始文件开始处理记录的顺序将不会得到维护。