partitionjob

spring批处理远程分块和远程分区之间有什么区别？ 我无法理解spring batch中远程分块和远程分区之间的区别。谁能解释一下吗？

试着看看我是否能设计一个既需要分区又需要远程分块的工作。我们可以有类似于表A的东西来保存行（表A中的一列将是分区键），对于表A中的每一行，我们将有表B，其中包含表A中给定外部/分区键的许多子记录。我们需要运行一个查询，根据查询过滤表a中的分区键，并为每个分区键处理表B中的所有子记录（这里我们在表B中也会有数百万条记录，因此我们需要并行处理记录，从而实现远程分块） 对于这样的事情，什么是正确的思考s

我们在POC中使用远程分区，处理大约2000万条记录。为了处理这些记录，slave需要一些大约5000行的静态元数据。我们当前的POC使用EhCache从数据库一次将元数据加载到从机中，并将其放入缓存中，这样子用户调用就可以从缓存中获取这些数据，从而获得更好的性能。 现在，由于我们使用远程分区，我们的从机大约有20个MDP/线程，因此每个消息侦听器首先调用以从数据库获取元数据，因此基本上每个远程机

我开发了一个应用程序，我们必须从一个大表中处理500多万条记录。我们使用了spring批处理远程分区，它工作得很好。 我现在必须使用相同的作业，并对其进行调整，以便为多个表创建分区。每个分区都有表名和最小和最大记录，这样从机就知道必须从哪个表读取数据并准备文件。 我的问题是，这是可以做到的吗？如果可以，那么github上是否有任何样本。 非常感谢。

我在运行Spring批处理作业时遇到了一个技术问题。作业只是从DB（MongoDB）读取记录，对记录进行一些计算（聚合）并将记录结果写入另一个表。读取A、处理A、写入记录B B是A的许多记录的聚合。我想使用远程分块来垂直扩展我的系统，从而使处理部分缩放和快速。我面临的问题是，我需要同步A记录，以便在将结果写入B时处理它们不会发生冲突。如果我将10条A记录分发给4个从站，它们在将聚合结果写入B时会发

我们有一个用例，需要从一些分页的API读取数据，然后写入一些下游的Kafka主题。 我们已经能够通过Spring批处理集成远程分区来实现解决方案，其中管理器通过创建包含页码和偏移量以读取数据的执行上下文来处理任务的分区。管理器创建此执行上下文并将它们放在MessagingChannel上（我可以使用RabbitMQ和Kafka主题，以提供解决方案者为准）。工作人员（超过1个）从MessagingC

我有一个要求，我想在下面的场景中使用Spring批处理框架。 我有一个在交易日期列上分区的表。我想使用Spring批处理框架的阅读器、处理器和写入器来处理该表的记录。我想做的是根据交易日期创建单独的线程进行读取、写入和处理。假设有4个交易日期，那么我想为单独的交易日期创建4个单独的线程。在每个线程中，阅读器将从该交易日期的表中读取记录，在处理器中丰富记录，然后在写入器中发布/写入。 我是Sprin

我正在处理200万记录和网格大小为20的Spring批处理应用程序。对于100200k记录，它工作正常，但200万分区后失败。 分区信息： 它打印的最后一个日志是创建的分区，然后控件永远不会进入writer。对于20万条记录来说，它很困难，所以我增加了连接池的大小，这解决了这个问题，但在200万行中失败了。 没有错误，只是挂在那里。