如何为redis streams定义TTL？

Question

我有两个微服务，我需要在它们之间实现可靠的通知。我考虑过使用redis streams——serviceA将向serviceB发送一个标识符为X的请求。一旦serviceB完成了serviceA要求的工作，它将创建/向流中添加一个新项目（该流特定于X），让它知道它已经完成了。

ServiceA可以发送多个请求，每个请求可以具有不同的标识符。所以它会阻止不同流中的新元素。

我的问题是如何删除不再需要的流，这取决于它们的年龄。例如，我希望删除一天前创建的流。这可能吗？

如果不是，我很想听听你关于如何在redis中不需要流的任何想法。

谢谢

Answer 1

没有直接的方法可以根据TTL/age删除旧条目。您可以使用XTRIM/XDEL与其他命令的组合来修剪流。

让我们看看如何使用XTRIM

XTRIM流最大大小

XTRIM将流修剪为给定数量的项，如果需要，将旧项（ID较低的项）逐出。

您每天或定期根据删除策略生成流大小，并使用XLEN命令将其存储在某处

运行定期作业，将XTRIM称为

XTRIM x流MAXLEN~（NEW_SIZE-PREVIOUS_SIZE）

例如，昨天的流大小是500，现在是600，然后我们需要删除500个条目，这样我们就可以运行了

XTRIM x流MAXLEN~100

您可以使用不同的策略进行删除，例如每日、每周、每周两次等。

XDEL流ID[ID...]

从流中删除指定的条目，并返回删除的条目数，如果某些ID不存在，删除的条目数可能与传递给命令的ID数不同。

因此，您可以做的是，只要服务B使用事件，服务本身就可以删除流条目，因为服务B知道流ID，但这不会在您开始使用消费者组时起作用。因此，我建议使用Redis set或Redis map来跟踪确认流ID，并运行定期扫描作业来清理流。

举个例子

服务A向服务B发送ID1的流项目服务B在使用map ack_stream={ID1:true}中的项目后确认流项目，您可以跟踪其他数据，例如消费者组的计数。

扫描作业将定期运行，如每天凌晨1点，读取确认流的所有元素并过滤掉所有需要删除的项目。现在，您可以使用流ID集批量调用XDEL命令。