当KafkaListener监听多个主题时，您可以优先考虑单个主题吗？

Question

当我的@KafkaListener收听多个主题时，有人知道如何优先考虑单个Kafka主题吗？

下面是我的代码示例：

@KafkaListener(id = "priority", topics = { "${prio-topic}" }, concurrency = "1", autoStartup = "true")
    @KafkaListener(id = "nonPriority", topics = { "${not-prio-topic-1}",
            "${not-prio-topic-2}", "${not-prio-topic-3}",
            "${not-prio-topic-4}", concurrency = "1", autoStartup = "true")
    public synchronized void  listenManyEntryTopic(String message) {}

我的问题是，我想从主题prio主题之前阅读其他非Prio主题。只有当我的prio主题是空的，我才应该开始使用其他主题，而没有任何特定的顺序。任何提示/建议都很感激。谢谢你的帮助！

Answer 1

因为有两个侦听器容器，所以可以将@Header（KafkaHeaders.RECEIVED_TOPIC）字符串TOPIC作为参数添加到方法中。

然后，当您收到来自优先级主题的消息时，您可以stop（）另一个侦听器容器（使用KafkaListenerEndpointRegistrybean），如果它正在运行。

在主主题容器中配置idleEventInterval，并添加一个@EventListner方法（或一个Application ationListenerbean）。

然后，当检测到空闲的主容器时，可以重新启动非主容器。

编辑

@SpringBootApplication
public class So66366140Application {

    private static final Logger LOG = LoggerFactory.getLogger(So66366140Application.class);

    public static void main(String[] args) {
        SpringApplication.run(So66366140Application.class, args);
    }

    @Bean
    public NewTopic topic1() {
        return TopicBuilder.name("so66366140-1").partitions(1).replicas(1).build();
    }

    @Bean
    public NewTopic topic2() {
        return TopicBuilder.name("so66366140-2").partitions(1).replicas(1).build();
    }

    @Autowired
    KafkaListenerEndpointRegistry registry;

    @KafkaListener(id = "so66366140-1", topics = "so66366140-1")
    @KafkaListener(id = "so66366140-2", topics = "so66366140-2", autoStartup = "false")
    public void listen(String in, @Header(KafkaHeaders.RECEIVED_TOPIC) String topic) {
        LOG.info(in);
        if (topic.equals("so66366140-1")
                && this.registry.getListenerContainer("so66366140-2").isRunning()) {
            LOG.info("Stopping non-pri container");
            this.registry.getListenerContainer("so66366140-2").stop();
        }
    }

    @EventListener
    void events(ListenerContainerIdleEvent event) {
        LOG.info(event.toString());
        if (event.getListenerId().startsWith("so66366140-1")
                && !this.registry.getListenerContainer("so66366140-2").isRunning()) {
            LOG.info("Starting non-pri container");
            this.registry.getListenerContainer("so66366140-2").start();
        }
    }

    @Bean
    public ApplicationRunner runner(KafkaTemplate<String, String> template) {
        return args -> {
            IntStream.range(0,  10).forEach(i -> {
                template.send("so66366140-1", "foo");
                template.send("so66366140-2", "bar");
                try {
                    Thread.sleep(6_000);
                }
                catch (InterruptedException e) {
                    Thread.currentThread().interrupt();
                }
            });
        };
    }

}

spring.kafka.consumer.auto-offset-reset=earliest
spring.kafka.listener.idle-event-interval=5s

你也可以用暂停/恢复代替停止/开始。

Answer 2

Kafka中没有区分优先级和非优先级主题消息的功能。为了解决您的问题，其中一个解决方案是将优先级处理主题与非优先级主题分开，即专用app1只使用优先级主题消息并对其进行处理，同时app2使用非优先级消息并对其进行处理。