运行 cron 作业以从大量计划作业记录表中进行轮询是否不好？

Question

我有一个表，cron 作业会每分钟轮询该表，以向其他服务发送消息。表中的记录实质上是计划在特定时间运行的活动。cron 作业只是检查哪些活动已准备好运行，并通过 SQS 将该活动的消息发送到其他服务。

当cron作业发现活动已准备好运行时，在通过SQS发送消息后，该记录将被标记为done。有一个API允许其他服务检查计划活动是否已经完成。因此，需要保留那些已完成记录的历史记录。

然而，我在这里关心的是这样的设计从长远来看是否是可扩展的。每天大约有200k计划的活动，甚至在某些日子里更多。因为我在记录完成后通过将它们标记为完成来保存记录，所以我担心表最终会变得非常大，有超过千万行，并成为cron作业频繁运行的问题。

即使有一个正确索引的表，我的担心是正确的吗？否则，如果我必须以某种方式为cron或其他东西持久化那些预定的活动，以便在它们准备好运行时进行轮询和检查，我还能设计什么其他的替代方案呢？

我正在使用邮递数据库。

Answer 1

使用正确的索引，cron作业应该没有严重的问题。您可以有一个部分/过滤索引，例如

create index on jobs (id) where status <> 'done'.

保持较小的索引大小。查询必须与索引where子句匹配。

我使用＜code＞（id）＜/code＞只是因为不允许空列表，所以必须有一些东西。根据您的评论，＜code＞schedule_dt＜/code＞可能是一个更好的选择。如果包括所选的所有列，则可以获得仅索引扫描。但是如果不这样做，它仍然会使用索引，它只需要访问表来获取那些特定行的列。我怀疑只扫描索引的尝试对您来说不值得，因为您需要的页面可能不会被标记为全部可见，因为一分钟前对相邻元组进行了修改。

但是，在仅计划而不是完成时将工作标记为已完成似乎有点奇怪。

有一个API允许其他服务检查计划活动是否已经完成。

除了cron作业之外，一个无约束地增加大小的表可能会带来管理问题。当然，服务不会为了做到这一点而回顾几个月，是吗？你能在几天后删除“完成”的作业吗？如果一个服务试图查找一个作业，而不是找到它“完成”，而是根本找不到它怎么办？

我不认为cron作业本身就是个问题，但是没有它会更干净。为什么谁插入作业就实时调用SQS呢？

Answer 2

只要 cron 作业的查询必须提取的行数保持不变，并且您可以使用索引，表的大小就无关紧要。

索引扫描相对于扫描的行数为O（n），相对于表大小为O（log（n））。更具体地说，将表大小增加10到200倍（索引键的大小越小，扇出效果越好）将使索引扫描使用更多的块，并且该块通常被缓存。

如果表变大，您可能仍然需要考虑分区，但主要是为了有效地删除旧数据。