Kafka流：使用相同的'application.id'使用多个主题

Question

我有一个应用程序需要收听多个不同的主题；每个主题都有关于如何处理消息的单独逻辑。我曾想过为每个KafkaStreams实例使用相同的kafka属性，但我得到了如下所示的错误。

错误

java.lang.IllegalArgumentException: Assigned partition my-topic-1 for non-subscribed topic regex pattern; subscription pattern is my-other-topic

class KafkaSetup() {
    companion html" target="_blank">object {
        private val LOG = LoggerFactory.getLogger(this::class.java)
    }

    fun getProperties(): Properties {
        val properties = Properties()
        properties.put(StreamsConfig.APPLICATION_ID_CONFIG, "my-app")
        return properties
    }

    private fun listenOnMyTopic() {
        val kStreamBuilder = KStreamBuilder()
        val kStream: KStream<String, String> = kStreamBuilder.stream("my-topic")

        kStream.foreach { key, value -> LOG.info("do stuff") }

        val kafkaStreams = KafkaStreams(kStreamBuilder, getProperties())
        kafkaStreams.start()
    }

    private fun listenOnMyOtherTopic() {
        val kStreamBuilder = KStreamBuilder()
        val kStream: KStream<String, String> = kStreamBuilder.stream("my-other-topic")

        kStream.foreach { key, value -> LOG.info("do other stuff") }

        val kafkaStreams = KafkaStreams(kStreamBuilder, getProperties())
        kafkaStreams.start()
    }
}

流处理应用程序的标识符。在Kafka集群中必须是唯一的。它用作1）默认的客户端ID前缀，2)用于成员资格管理的组ID，3)变更日志主题前缀。

问题

1. 此错误意味着什么，以及导致此错误的原因。
2. 假设您可以有应用程序的多个实例以相同的id运行以从多个主题分区消费，那么“在Kafka集群中必须是唯一的”是什么意思？
3. 可以使用相同的Kafka streamsapplication.id启动两个列有不同主题的Kafkastreams吗？如果是，怎么做？

细节：Kafka0.11.0.2

Answer 1

Kafaka是通过分区而不是主题来进行缩放的。因此，如果使用相同的application.id启动多个应用程序，它们必须在订阅的输入主题和处理逻辑方面相同。应用程序使用application.id作为group.id来形成使用者组，因此输入主题的不同分区被分配给不同的实例。

如果您有相同逻辑的不同主题，您可以一次订阅所有主题（在您启动的每个实例中）。但是，缩放仍然是基于分区的。（它基本上是输入主题的“合并”。）

如果希望通过主题进行缩放和/或具有不同的处理逻辑，则必须对不同的Kafka Streams应用程序使用不同的application.id。