Kafka-慢速消费情况下的最佳实践

Question

我有一个用例，在这个用例中，我有3个Kafka消费者向一个主题写作，每个消费者中的消息都需要按顺序处理。在这种情况下，如果某个消费者中存在延迟，则需要更早处理的消息将被丢弃（写入条件）。那么，有没有一种方法可以维持这些消息的顺序呢。

Answer 1

消息总是在Kafka分区中排序。通常，属于某个键的所有消息都位于某个分区中（通过分区逻辑）。

我有一个用例，其中我有3个Kafka消费者编写一个主题

我想，你是说你有三个消费者从一个主题阅读

这里有两种情况：

1. 每个消费者都会获得主题中的所有消息
2. 每个使用者仅获取主题中的一部分消息（分区）

如果#1

您可以有3个消费者，每个消费者都有不同的group.id，这样每个消费者都会消费所有的消息集。在这里，较慢的消费者不会减慢其他消费者的速度。因为每个消费者通常都在自己的线程或进程中运行。

如果#2

您可以有3个消费者具有相同的组。id，这样每个使用者都将获得自己的分区份额。一个消费者消费的消息不会被另一个消费者消费。在这里，较慢的消费者也不会减慢其他消费者的速度。因为每个使用者将只使用自己的一组分区。

在这种情况下，如果其中一个消费者存在延迟，则需要更早处理的消息将被删除（写入条件）

Kafka中没有隐式删除，您必须在轮询消息后自己删除消息。

我认为，要检查滞后，可以从消费者开始。endOffsets（）和消费者。position（），差应该会给您带来滞后。根据延迟情况，您可以选择删除邮件。

consumer.assignment().forEach( topicPartition -> {
      long currentPos = consumer.position(topicPartition);
      long endOfPartition = consumer.endOffsets(Collections.singletonList(topicPartition)).get(topicPartition);
});