Kafka Rest代理消费者创建

Question

假设我有一个服务，它通过kafka-rest-proxy来消费消息，并且总是在同一个消费者组上。我们还可以说，它正在消耗一个有一个分区的主题。当服务启动时，它在kafka-rest-proxy中创建一个新的使用者，并使用生成的使用者url，直到服务关闭。当服务重新启动时，它将在kafka-rest-proxy中创建一个新的消费者，并使用新的url（和新的消费者）进行消费。

>

因为kafka每个分区最多只能有一个使用者。在kafka和kafka-rest-proxy中会发生什么，当消费者被重新启动时？即在kafka-rest-proxy中创建了一个新的消费者，但旧的消费者没有机会被破坏。所以现在在kafka-rest-proxy中重新启动我的服务后，有'n'个消费者，但其中只有一个正在被积极消费。我甚至能够在我的新消费者上消费消息吗？因为消费者比分区多？

让我们把这个变得更复杂，说我在同一个消费者组上有我的服务的5个实例，在主题中有5个分区。在'n'重新启动我的服务的所有5个实例后，我甚至会被保证消费所有的消息，而不确保正确地销毁现有的消费者。即，当消费者对分区进行编号时，在消费者创建过程中，Kafka和kafka-rest-proxy做了什么？

什么被认为是Kafka-Rest-代理的最佳实践，以确保陈腐的消费者总是被清理？您建议保留使用者URL吗？我是否应该强制kafka-rest-proxy重新启动，以确保在启动我的服务之前已销毁现有的消费者？

*编辑*我相信我的问题有一部分是用这个配置回答的，但不是全部。

consumer.instance.timeout.ms-使用者实例自动销毁之前的空闲时间。类型：int默认值：300000重要性：低

Answer 1

>

如果您不能完全关闭使用者，它将在向其发出上次请求后的一段时间内保持活动状态。在这种情况下，代理将垃圾收集过时的使用者--如果它没有完全关闭，使用者将无限期地保留某些分区。通过自动垃圾收集使用者，您不需要一些单独的持久存储来跟踪您的使用者实例。正如您所发现的，您可以通过configconsumer.instance.timeout.ms来控制这个超时。

由于实例将被垃圾收集，因此可以保证您最终使用所有消息。但在超时期间,某些分区可能仍被分配给旧的使用者集,您将不会在这些分区上取得任何进展。

理想情况下，不干净的关闭你的应用程序是很少的，所以最好的做法是清理消费者时，你的应用程序是关闭。即使在例外情况下，也可以使用try/catch/finally的finally块来破坏使用者。如果一个还活着，它最终会恢复的。除此之外，如果应用程序能够容忍consumer.instance.timeout.ms设置，请考虑将其调整为更低。它只需要大于使用使用者的调用之间的最长周期（并且您应该记住可能的错误情况，例如，如果处理消息需要与另一个系统交互，而该系统可能变得缓慢/不可访问，那么您应该在设置此配置时考虑到这一点）。

您可以持久化URL，但即使这样也会有丢失使用者的风险，因为您不能原子式地创建使用者并将其URL保存到其他持久存储中。此外，由于完全不受控制的故障在您没有机会进行清理的情况下不应该是常见的情况，所以这样做通常不会给您带来太多好处。如果您需要从故障中快速恢复，那么应用程序的使用者实例超时可能会大大减少。

RE：强制重新启动代理，这将是相当少见的，因为REST代理通常是一个共享服务，这样做会影响所有其他正在使用它的应用程序。