redis在消费者群体内进行有序处理

Question

我将python（aioredis）与redis streams一起使用。

我有一个一个生产者-多个（分组）消费者的场景，并希望确保消费者以有序的方式处理发送到流的（批量）消息，这意味着：当第一条消息完成时，处理流中的下一条消息，依此类推。这也意味着消费者组中的消费者在某一时间正在处理，而其他消费者将等待。

我还希望依赖于第二、第三等消费群体中的有序处理——所有这些都依赖于发送到一个流的相同消息。意思是：

message 1 ... n -> stream1 
ordered processing within group 1 ... n  
whereas consumer 1 ... n per group 1 ... n

当我还想确保每个组的潜在订单检查逻辑不会有太多过载时，什么是完成这项工作的好方法？

Answer 1

让我回到同步处理的老派，如果您想按顺序处理流消息，这并不容易，原因是失败/重试。

考虑到您希望最多处理一次每个消息，流消息执行是一个关键部分，消费者组成员作为线程/进程。

若要同步此操作，您需要某种锁定机制，因为消费者组可能在不同的机器上运行。您可以使用全局锁定机制来防止多个使用者使用来自同一流的消息。

您可以使用Redis锁（RedLock）来获取/释放锁。

伪代码

Procedure SequentialProcessor

Input: StreamName
Input: ConsumerName
Input: ConsumerGroup
Input: LockTime 


BEGIN
    redLock = RedLock()
    WHILE True DO
     IF redLock.aquireLock(StreamName#ConsumerGroup, LockTime) THEN
       message = redis.XREADGROUP( ConsumerGroup, StreamName, ...)
       TRY
         processMessage( message )
       FINALLY
          redLock.releaseLock( StreamName#ConsumerGroup )
     ENDIF
    END
END