Azure服务总线如何识别重复消息？

Question

我知道Azure Service Bus有一个重复消息检测功能，可以删除它认为与其他消息重复的消息。我想使用此功能来帮助防止重复传递。

我好奇的是服务如何确定两条消息实际上是重复的：

• 考虑了消息的哪些属性
• 是否考虑了消息的内容
• 如果我发送两条内容相同但消息属性不同的消息，它们是否被视为重复

Answer 1

处理Azure Service Bus实体的“RequiresDuplicateDetection”属性时要考虑的另一个重要属性是“DuplicateDetectionHistoryTimeWindow”，在该时间范围内，具有重复消息id的消息将被拒绝。

重复检测时间历史记录的默认值现在是30秒，该值可以在20秒到7天之间。

启用重复检测有助于跟踪在指定时间窗口内发送到队列或主题的所有消息的应用程序控制的MessageId。如果发送的任何新消息中包含一个已在时间窗口内记录的MessageId，则该消息将报告为已接受（发送操作成功），但新发送的消息将立即被忽略并丢弃。除MessageId之外，不考虑消息的其他部分。

Answer 2

在我的情况下，我必须在MessageId之上应用ScheduledEnqueueTimeUtc。因为大多数情况下，在子序列重复消息到达队列之前，第一条消息已经被工作者拾取。通过添加ScheduledEnqueueTimeUtc。我们告诉服务总线将消息保留一段时间，然后再将其释放。

            var message = new BrokeredMessage(json)
            {
                MessageId = GetMessageId(input, extra)
            };

            // Delay 30 seconds for Message to process
            // So that Duplication Detection Engine has enought time to reject duplicated message
            message.ScheduledEnqueueTimeUtc = DateTime.UtcNow.AddSeconds(30);

Answer 3

重复检测正在查看代理消息的MessageId属性。因此，如果您将消息Id设置为每个在重复检测中出现的消息都应该是唯一的，则可以捕获它。据我所知，只有消息Id用于检测。不会查看消息的内容，因此，如果发送的两条消息具有相同的实际内容，但具有不同的消息ID，则不会将其检测为重复。

参考文献：

MSDN文档：https://docs.microsoft.com/en-us/azure/service-bus-messaging/service-bus-queues-topics-subscriptions

如果场景不能容忍重复处理，那么应用程序中需要额外的逻辑来检测重复，这可以基于消息的MessageId属性来实现，该属性将在传递尝试中保持不变。这就是所谓的一次处理。

WindowsA上还有一个代理消息重复检测代码示例zure.com这应该正是您正在寻找的，只要证明它。

我还快速测试了这一点，并将5条消息发送到一个队列中，将requiresdeplicatedetection设置为true，所有消息的内容都完全相同，但消息ID不同。然后我检索了所有五条消息。然后我做了相反的操作，在那里我有匹配的messageid，但有不同的有效载荷，只检索到一条消息。