apachekafka分区

Question

我已经在kafka上工作了相当长的六个月，我对用户延迟和存储到主题分区中的数据有一些疑问。

问题1：最初，当我开始阅读Kafka并了解如何使用Kafka的功能时，我被教导说，一个只有一部分和一个复制因子的主题会创造奇迹。经过相当长的六个月的工作，将我的项目迁移到live之后，使用我的主题消息的消费者开始给我一个延迟。我阅读了许多关于消费者延迟的堆栈溢出答案，得出结论，如果我增加某个主题的分区和复制因子，就会删除它。我真正想知道的是，在六个月的数据流向某个主题后，这是否真的能消除我的消费者滞后，有人能帮我消除我经纪人的滞后吗。提前谢谢。

问题2：例如，如果我增加主题的部分和复制因子，那么从现在开始，我的制作人将如何将数据放入主题，在它是一个分区之前，数据将被淹没，并且我的消费者组只有一个消费者，这是默认的，并且只从一个分区获取。我的数据将分布在topic的分区中（即一个部分中的第一条消息和另一个分区中的下一条消息）。还有一件事，我需要在消费者方面进行任何更改，也像许多消费者一样，我必须开始从主题中读取数据，以便遵循顺序（即，我必须按照发布到主题的顺序获取数据）。。。

如果有人能对我面临的两个问题给出一个明确的解决方案，那就好了。提前感谢。

Answer 1

若你们的消费者有滞后，那个么你们产生（推送）主题的速度比你们阅读的速度快。增加分区数有助于并行运行多个使用者。例如，如果您有16个分区和4个使用者（具有相同的组id），那么每个使用者将读取4个分区。这减少了应由一个消费者处理的数据量（最好是4次）。

当您将消息推送到kafka时，您可以指定密钥。基于该密钥，kafka消费者决定消息应该转到哪个分区。

return Utils.abs(Utils.murmur2(record.key())) % numPartitions;

若不指定键，消息将均匀分布在所有分区中。因此，如果您需要有顺序（例如，每个用户），您可以将key设置为用户id。在这种情况下，一个用户的所有消息将始终位于一个分区中，并按照您推送它们的顺序。