调度程序作业记录的分发处理

Question

我正在研究一个用例，其中我安排了一个cron作业（通过石英），它从数据库中读取某些条目并处理它们。现在，在每个计划中，我可以获得数千条需要处理的记录。处理每条记录需要时间（以秒/分钟为单位）。目前，所有这些记录都在单个节点（由quartz选择的节点）上进行处理。现在，我面临的挑战是并行化这些记录处理。请帮助我解决以下问题：

1. 如何将这些记录/任务分发到计算机群集
2. 如果任何计算机在处理少量记录后发生故障，则剩余的记录应由群集中的正常节点处理
3. 获取所有记录处理已完成的信号。

Answer 1

创建cron作业，以所需的频率在每台主机上单独运行。您需要对每个记录进行某种形式的锁定，或者对记录集进行某种形式的范围锁定，以确保服务器处理互斥的记录集。

e、 g.：您可以向所有记录添加以下新字段：

由服务器锁定：锁定持续时间（或锁定过期时间）：

每次运行时，每个cron都会选择一组已过期或空锁的记录，然后通过放入这两个条目来获取一小组记录的锁。然后它继续处理它们。如果它崩溃或卡住，锁就会过期，否则它会在完成时被释放。