Spring boot scheduler为每个pod运行cron作业

Question

当前设置

null

问题

因为我们有3个pod，并且调度程序处于应用程序级别，所以我们对数据集进行3次调用，每个pod都得到响应，并且首先在缓存中处理的pod成为主服务器，其他2个pod复制来自该实例的数据。

我认为这是一个问题，因为我们将增加获取更多数据集的作业数量，因此这将成倍增加调用的数量。

null

null

null

2-我谷歌了，发现其他的选择是运行一个Cronjob，这将安排一个工作完成，这是否有帮助，但不确定它的真正意义。

提前感谢你抽出时间来读这篇文章。

Answer 1

根据我对你问题的理解，看起来你有两个选择（至少）-

1. 如果您的springboot主应用程序中仍然有调度逻辑，那么您可能需要探索类似shedlock的东西，它有助于确保当应用程序代码运行在多个节点（在您的情况下是kubernetes pods）上时，通过应用程序代码调度的作业仅通过外部锁提供程序（如MySQL、Redis等）执行一次。
2. 如果您可以将特定于调度程序的应用程序代码分离到它自己的可执行进程中（即，该代码可以在与主应用程序代码POD不同的POD集合中运行），那么您可以使用kubernetescronjob来调度内部创建POD并运行应用程序逻辑的kubernetes作业。这种方法的好处是，您可以使用本机的kubernetes cronjob参数（如并发）和其他一些参数，以确保作业在计划时间内通过单个Pod只运行一次。

通过方法(1)，您可以将调度程序代码与主应用程序耦合起来，并在相同的Pods中一起运行它们。

对于方法(2)，您必须将您的代码（运行在调度程序中）从整个应用程序代码中分离出来，将其容器化到自己的映像中，然后使用参考官方指南示例和kubernetes cronjob最佳实践（由我编写，但可以找到其他示例）的新映像配置kubernetes cronjob调度。

这两种方法都有各自的优点和缺点，因此您可以对它们进行评估，以最适合您的需要。