使用zookeeper在集群中调度任务

Question

我们使用Spring来运行调度任务，这在单节点上运行良好。我们希望在由N个节点组成的集群中运行这些计划任务，以便任务在一个时间点由一个节点执行。这是针对企业用例的，我们预计最多会有10到20个节点。

我研究了各种选择：

1. 使用Quartz，这似乎是在集群中运行计划任务的流行选择。缺点：我想避免数据库依赖。
2. 使用zoowatch，并且总是只在领导/主节点上运行计划的任务。缺点：任务执行负载没有分布
3. 在所有节点上使用zoowatch并调用计划的任务。但是在任务运行之前，获取分布式锁，并在执行完成后释放。缺点：所有节点上的系统时钟应该同步，如果应用程序过载导致系统时钟漂移，这可能是一个问题。
4. 使用zoowatch，让主节点继续按照计划生成任务，并将其分配给随机工作人员。如果先前的计划任务尚未处理，则不会分配新任务。缺点：这似乎增加了太多的复杂性。

我倾向于使用#3，这似乎是一个安全的解决方案，假设zookeeper集合节点运行在单独的集群上，系统时钟使用NTP同步。这也是基于这样一个假设：如果系统时钟同步，那么所有节点都有同等的机会获得锁以执行任务
编辑：经过进一步思考，我意识到这可能不是一个安全的解决方案，因为系统时钟应该在调度任务运行的节点之间同步，而不仅仅是zookeeper集群节点。我说的不安全是因为运行任务的节点可能会因GC暂停和其他原因而过载，而且时钟可能会不同步。但我还是认为这是分布式系统的标准问题。

你能告诉我我对每个选项的理解是否准确吗？或者可能有比列出的选项更好的方法来解决这个问题。

Answer 1

Zookeeper或Etcd不是这个用例的最佳工具。

如果您的环境允许您使用akka，那么使用akka群集最小邮箱路由器或您喜欢的任何群集路由器都会更容易。然后将调度作业推送到集群的ActorRef。更容易设置，您可以使用它在集群中设置数千个节点（它使用cassandra和nomad使用的协议）。

Scalecbe也很容易做到这一点，它使用SWIM。

Answer 2

你可以这样改进#3。

动物园管理员提供观察者。也就是说，您可以在给定的ZNode上设置观察者（比如在path/some/path）。群集中的所有节点都在监视同一个Znode。每当节点认为（按计划或以任何方式）现在应该运行计划的任务，

1. 首先，它在/some/path（所有节点都在监视）下创建一个子节点。此外，还可以根据需要设置该节点的数据。它可能是一个json字符串，指定要运行的任务的详细信息。新的ZNode路径看起来像/some/path/prefix_

这种设计通过检查给定ZNode下名为success的子节点来确保任务不会运行两次，该ZNode是为通知启动任务而创建的。

我已经将上述设计用于一个企业解决方案。实际上是用于分布式命令框架；-）