kafka consumer用于动态检测添加的主题

Question

null

但问题是，如果主题是动态创建的（我的意思是说在使用者代码启动之后），它将不起作用，但API说它将支持动态主题创建。这里是供你参考的链接。

Kafka版本：0.9.0.1

https://kafka.apache.org/090/javadoc/index.html?org/apache/kafka/clients/consumer/kafkaConsumer.html

    Properties props = new Properties();
    props.put("bootstrap.servers", "localhost:9092");
    props.put("group.id", "test");
    props.put("enable.auto.commit", "false");
    props.put("auto.commit.interval.ms", "1000");
    props.put("session.timeout.ms", "30000");
    props.put("key.deserializer","org.apache.kafka.common.serialization.StringDeserializer");
    props.put("value.deserializer","org.apache.kafka.common.serialization.StringDeserializer");

    KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
    Pattern r = Pattern.compile("siddu(\\d)*");

    consumer.subscribe(r, new HandleRebalance());
    try {
         while(true) {
             ConsumerRecords<String, String> records = consumer.poll(Long.MAX_VALUE);
             for (TopicPartition partition : records.partitions()) {
                 List<ConsumerRecord<String, String>> partitionRecords = records.records(partition);
                 for (ConsumerRecord<String, String> record : partitionRecords) {
                     System.out.println(partition.partition()  + ": "  +record.offset() + ": " + record.value());
                 }
                 long lastOffset = partitionRecords.get(partitionRecords.size() - 1).offset();

                 consumer.commitSync(Collections.singletonMap(partition, new OffsetAndMetadata(lastOffset + 1)));
             }
         }
     } finally {
       consumer.close();
     }

任何帮助都是非常感谢的...

Answer 1

在阿帕奇Kafaka的邮件档案中有一个答案。我将其复制如下：

使用者支持一个配置选项“metadata.max.age.ms”，它基本上控制获取主题元数据的频率。默认情况下，这个值设置得相当高（5分钟），这意味着最多需要5分钟来发现与正则表达式匹配的新主题。您可以将其设置得更低，以便更快地发现主题。

所以在你的道具中你可以：

props.put("metadata.max.age.ms", 5000);