Cloud pub/sub订阅者max_messages与消息排序无关

Question

我正在使用Cloud pub/sub构建一个作业队列，我希望按照pub/sub服务接收消息的顺序接收消息。我创建了一个主题和一个启用消息排序的订阅。我正在使用google-cloud-pubsub包用Python开发我的系统。正如本文档中所建议的，我必须发布带有排序键的消息。

如果邮件具有相同的排序键，并且您将邮件发布到相同的区域，则订阅服务器可以按顺序接收邮件。

在订阅方，我需要批量处理消息，所以我使用max_messages参数进行控制。但是，当我启用message ordering选项时，每次我都不能按预期提取max_messages消息，而只能从订阅中提取一条消息。奇怪的是，当我禁用消息排序时，它返回max_messages消息。

发布服务器代码：

...
topic_path = 'xxx'
ordering_key = '202011240000'
while True:
    job = {'job_id': 'xxxxxx', 'foo': 0, 'bar': 0}
    data = json.dumps(job, default=str).encode('utf-8')
    publisher.publish(topic_path, data=data, ordering_key=ordering_key)
    time.sleep(1)

...
subscription_path = 'xxx'
subscriber.pull(request={'subscription': subscription_path, 'max_messages': 300})
...

我做错了什么还是酒吧/潜艇是这样设计的？

Answer 1

max_messages属性并不意味着保证服务器返回该数量的消息，即使这些消息是可用的。使用有序传递时，返回给单个请求的消息批次不太可能包含最大数量的消息，因为必须进行更多的协调以确保消息按顺序发送，尤其是在使用单个排序键的情况下。服务器尝试不要让等待更多消息发送的请求停留太长时间，因为否则端到端的延迟会变得更加困难。

对此有两种处理方法。第一个是切换到Cloud Pub/Sub客户机库，它使用流式拉取，因此在消息可用时能够更好地传递消息，因为有一个持久的连接可以传递消息。

第二个是确保你有很多拉的同时突出。请注意，这对单个排序键的情况没有帮助，因为一次只能有一个排序键的消息列表未完成。如果您有许多排序键，这可能会有所帮助。

有关传递语义的更多信息，请参见ordering keys Medium Post中的“按顺序接收消息”部分。