带有队列的长时间运行的REST API

Question

非常感谢你的见解。

Answer 1

我假设您的系统如下所示。您有一个REST服务，它接收来自客户机的请求。它将请求转换为业务逻辑可以理解的命令。您将这些命令放入队列中。您有一个或多个workers可以处理和从队列中删除这些命令，并将结果发送给REST服务，后者可以响应客户机。

您的问题是，由于长时间运行的任务，客户端连接超时，因此无法发送响应。因此，您可以做的是在将命令放入队列并添加轮询链接后发送一个202 accepted，这样客户机就可以轮询更改。您的任务有多个子任务，因此有进展，而不仅仅是挂起和完成状态更改。

1. 如果您想坚持轮询，您应该创建一个新的REST资源，其中包含实际状态和长时间运行任务的进度。这意味着您必须将此信息存储在数据库中，以便REST服务能够响应get/tasks/23461/status等请求。这意味着您的工作人员必须在完成子任务或整个任务时更新数据库。
2. 如果您的REST服务作为守护进程运行，那么您可以通过进度通知它，这样将任务状态存储在数据库中就不是工作人员的责任了。这种REST服务还可以将信息存储在内存中。
3. 如果决定使用websockets通知客户端，则可以创建通知服务。在REST时，您必须使用任务ID进行响应。之后，在websocket连接上发回这个任务id，这样通知服务就会知道哪个websocket连接订阅了某个任务的事件。之后，您将不需要REST服务，只要客户端不关闭连接，您就可以通过websocket连接发送进度。
4. 您可以通过以下方式组合这些解决方案。您可以让REST服务创建任务资源，这样您就可以通过使用轮询链接访问进度。之后，您将通过websockets连接返回一个带有202的标识符。因此可以使用通知服务来通知客户端。按照进度，您的工作人员将通知REST服务，该服务将创建类似get/tasks/23461/status的链接，并通过通知服务将该链接发送给客户端。之后，客户端可以使用该链接更新其状态。