Google Pub/Sub订阅者在一段时间后没有收到消息

Question

我有一个简单的python脚本，它使用Google pubsub来检测Google云存储中的新文件。该脚本只需将新消息添加到队列中，另一个线程将在队列中处理这些消息：

subscriber = pubsub.SubscriberClient()
subscription_path = subscriber.subscription_path(
    project, subscription_name)

subscriber.subscribe(subscription_path, callback=callback_fun)

while True:
    if not message_queue:
        time.sleep(60)
        continue
    else:
        process_next_message(message_queue.pop())

这里，callback_fun简单地将消息添加到队列中：

def callback_fun(message):
    message.ack()
    message_queue.append(message)

我遇到的问题是，过了一段时间（可能几天），订阅服务器停止接收新文件通知。如果我停止并重新启动脚本，它会一次获得所有通知。

我想知道是否有其他人也有类似的问题和/或可以建议解决问题的方法（可能通过打印通常看不到的调试消息）。我现在正在尝试停止/重新启动订阅服务器，但我确信这不是在生产环境中使用的最佳方法。

我使用的是google-cloud0.32.0和google-cloud-pubsub0.30.1。

Answer 1

通常，订户可能停止接收消息的原因有以下几个：

1. 如果订户没有ack或nack消息，则可以达到流控制限制，这意味着不能传递更多的消息。在您的特定实例中，如果您立即ack消息，情况似乎不是这样。顺便说一句，我建议不要在队列处理消息之前对它们进行攻击，除非您对消息不被处理的可能性感到满意。否则，如果您的应用程序在ack之后崩溃，但在消息队列处理它们之前，您将没有处理消息，并且在它被ack之后也不会重新传递它。
2. 如果另一个订阅服务器为同一订阅启动，则它可能正在接收消息。在这种情况下，我们希望订阅服务器接收到消息的子集，而不是完全没有消息。
3. 发布服务器只是停止发布消息，因此没有消息可接收。如果重新启动订阅服务器，它又开始接收消息，那么情况可能不是这样。您还可以通过查看subscription/backlog_bytes的Stackdriver度量来验证backlog是否正在构建。

如果您的问题不属于这些类别之一，最好使用您的项目名称、主题名称和订阅名称联系Google Cloud支持部门，这样他们就可以将问题缩小到您的用户代码、客户机库或服务。