Kafka流多实例设计含义

Question

问题：拥有org.apache.kafka.streams的多个实例意味着什么。KafkaStreams在单个JVM中类（例如：内存、CPU使用率、并发性问题）？

背景：我试图提供一种散装机制，以便如果流操作引发异常，它不会将整个KafkaStreams实例转换为错误状态。我将应用程序划分为不同的KafkaStreams实例，每个实例负责不同的任务（日志记录、外部web调用、db调用等）。

我还没有找到关于如何（1）从错误状态恢复KafkaStreams实例的文档，或者（2）使用KafkaStreams设计一个提供一些散装原则的应用程序，或者（3）证明或反驳我目前的方法。

如果我的方法违反了Confluent或Kafka记录的最佳实践，那么了解这一点也会有所帮助。

应用程序版本：Kafka 1.0.0，Kafka streams 1.0.0

Answer 1

如果KafkaStreams实例最终处于ERROR状态，您需要关闭（）它并创建一个新实例，您可以开始替换旧实例。

对于在单个JVM中运行多个KafkaStreams实例：这基本上是可以的。请注意，如果这些实例属于同一个应用程序，您需要使用不同的状态目录将它们配置为相互隔离。否则，它们会自动相互隔离。

对我来说，你的设计是有意义的。不过请注意，它更需要资源，因为Kafka消费者和KafkaProducer不能为您的设置共享。