重构Spring批处理作业以使用Apache Kafka（分离读写器）

Question

我目前有一个Spring批处理作业，只需一个步骤即可从Oracle读取数据，通过多个Spring批处理处理器（CompositeItemProcessor）传递数据，并将数据写入不同的目标，如Oracle和文件（CompositeItemWriter）：

<batch:step id="dataTransformationJob">
    <batch:tasklet transaction-manager="transactionManager" task-executor="taskExecutor" throttle-limit="30">
        <batch:chunk reader="dataReader" processor="compositeDataProcessor" writer="compositeItemWriter" commit-interval="100"></batch:chunk>
    </batch:tasklet>
</batch:step>

在上述步骤中，compositeItemWriter配置了两个写入程序，它们一个接一个地运行，向Oracle写入1亿条记录和一个文件。另外，dataReader有一个同步读取方法，以确保多个线程不会从Oracle读取相同的数据。从今天开始，这项工作需要1小时30分钟才能完成。

我计划将上述工作分解为两部分，以便阅读器/处理器生成关于2个Kafka主题的数据（一个用于将数据写入Oracle，另一个用于将数据写入文件）。在等式的另一边，我将有一个具有两个并行流的工作，从每个主题读取数据并将数据分别写入Oracle和文件。

考虑到上述架构，我想了解如何重构Spring Batch作业以使用Kafka。我相信以下领域是我需要解决的问题：

1. 在不使用Kafka的现有工作中，我的油门限制是30；然而，当我在中间使用Kafka时，如何确定正确的油门限制

注意：我知道Kafka Connect，但不想使用它，因为它需要设置一个Connect群集，而我没有可用的基础设施来支持它。

Answer 1

回答您的问题：

1. Kafka制作人无需节流，Kafka中的数据应尽快可用。您的消费者可以根据实现进行节流（如果需要）
2. Kafka制作人是可html" target="_blank">配置的。100条信息并不一定意味着100次网络通话。您可以向kafka producer写入100条消息（根据配置，它可能会缓冲，也可能不会缓冲），然后刷新缓冲区以强制网络调用。这将导致（几乎）相同的现有行为
3. 一条消息中可以包含多行，因为Kafka消息的负载完全由您决定。但是在Kafka中，你的推理是将多行信息整合到一条消息中，以避免多次网络呼叫 无效，因为在一次网络调用中可以生成/使用多条消息（行）。对于你的初稿，我建议保持简单，让一行对应一条消息
4. 据我所知不是这样。（但这一点我可能错了）
5. 是的，我相信它们应该很好用