单文件到多文件的Spring批处理多线程处理

Question

我的问题陈述。读取包含1000万数据的csv文件，并将其存储在数据库中。用尽可能少的时间

我使用java的简单多线程执行器实现了它，其逻辑几乎与spring batch的chunk相似。从csv文件中读取预配置数量的数据，然后创建一个线程，并将数据传递给线程，该线程验证数据，然后写入多线程运行的文件。完成所有任务后，我将调用sql loader来加载每个文件。现在我想把这段代码移到spring batch（我是spring batch的新手）

这是我的问题
1。在任务中，是否可以使ItemReader到Item Writer多线程（当我读取文件时，在线程写入数据之前创建一个新线程来处理数据）？如果不是，我需要创建两个步骤，第一步读取单线程文件，另一个步骤是多线程写入单个文件，但是如何将数据列表从以前的任务传递给另一个任务。
2.如果单个线程出现任何故障，我如何停止整个批处理作业处理。
3.如果在一定间隔后发生故障，如何重试批处理作业。我知道在失败的情况下有重试选项，但我找不到在失败的情况下在一定时间间隔后重试任务的选项。这里我不是在谈论调度程序，因为我已经在调度程序下运行了批处理作业，但在失败时，它必须在3分钟后重新运行。

Answer 1

您可以将输入文件拆分为多个文件，使用分区器并使用线程加载小文件，但如果出错，您必须在DB清理后重新启动所有作业。

<batch:job id="transformJob">
    <batch:step id="deleteDir" next="cleanDB">
        <batch:tasklet ref="fileDeletingTasklet" />
    </batch:step>
    <batch:step id="cleanDB" next="split">
        <batch:tasklet ref="countThreadTasklet" />
    </batch:step>
    <batch:step id="split" next="partitionerMasterImporter">
        <batch:tasklet>
            <batch:chunk reader="largeCSVReader" writer="smallCSVWriter" commit-interval="#{jobExecutionContext['chunk.count']}" />
        </batch:tasklet>
    </batch:step>
    <batch:step id="partitionerMasterImporter" next="partitionerMasterExporter">
        <partition step="importChunked" partitioner="filePartitioner">
            <handler grid-size="10" task-executor="taskExecutor" />
        </partition>
    </batch:step>
</batch:job>

完整的示例代码（在Github上）。

希望这能有所帮助。

Answer 2

1. 关于多线程阅读如何在Spring Batch中设置多线程？答复它会为你指明正确的方向。此外，在这个示例中，还有一些关于重新启动CSV文件的考虑

让我知道这是否有帮助，或者你如何解决问题，因为我对我（未来）的工作感兴趣<我希望我的指示能有所帮助。

Answer 3

下面是我如何解决这个问题的。

>

以目录位置作为作业参数启动作业。