“消费者”上的Kafka分区分配
我知道kafka将一个主题的数据安排在许多分区上，一个消费者组中的消费者被分配到不同的分区，从那里他们可以接收数据：
partition-1 partition-2 partition-3 partition-4 partition-5 partition-6
|____________| |____________| |____________|
| | |
consumer-1 consumer-2 consumer-3
我的问题是:
- 术语
消费者，它们是由主机/IP标识的，还是由客户端连接标识的？
换句话说，如果我启动两个线程或进程，使用相同的消费者组运行相同的Kafka客户端代码，它们被认为是一个消费者还是两个消费者？
共有1个答案
首先，消费者不是线程安全的。
单独线程/进程中的多个实例不会被视为组中的同一客户机，但在描述使用者组时，它们确实会显示主机信息
-
null 我在这一页上读到以下内容： 使用者从任何单个分区读取，允许您以与消息生成类似的方式扩展消息消耗的吞吐量。 也可以将使用者组织为给定主题的使用者组-组内的每个使用者从唯一分区读取，并且组作为一个整体使用来自整个主题的所有消息。 如果使用者多于分区，则某些使用者将空闲，因为它们没有可从中读取的分区。 如果分区多于使用者，则使用者将从多个分区接收消息。 如果使用者和分区的数量相等，则每个使用者
-
假设我有一个名为“MyTopic”的主题，它有3个分区P0、P1和P2。这些分区中的每一个都有一个leader，并且本主题的数据（消息）分布在这些分区中。 1.Producer将始终根据代理上的负载以循环方式写到分区的领导者。对吗？ 2.制作人如何认识隔断的首领？
-
TL；DR；我试图理解一个被分配了多个分区的单个使用者是如何处理reach分区的消费记录的。 例如： 在移动到下一个分区之前，会完全处理一个分区。 每次处理每个分区中的可用记录块。 从第一个可用分区处理一批N条记录 以循环旋转方式处理来自分区的N条记录 我找到了或分配程序的配置，但这只决定了使用者如何分配分区，而不是它如何从分配给它的分区中使用。 我开始深入研究KafkaConsumer源代码，#
-
我正在创建一个系统，其中前端服务将消息推送到Kafka请求主题，并为一些下游后端消费者（实际上是一个最终推送回Kafka的复杂系统）监听另一个响应主题，以处理请求消息并最终推进到“回应”话题。 我试图找出最优雅的方法来确保消费者监听适当的分区并收到响应，并且后端推送到前端消费者正在监听的分区。我们总是需要确保响应到达产生初始消息的同一个消费者。 到目前为止，我有两种解决方案，但都不是特别令人满意的
-
我有一个多分区主题，由多个使用者（同一组）使用。我的目标是最大化消费处理，即任何消费者都可以消费来自任何分区的消息。 我知道这看起来是不可能的，因为只有一个消费者可以从一个分区中消费。 有没有可能使用REST代理来实现这一点？例如，轮询所有代理消费者实例。 谢了。
-
我有一个Kafka主题，目前有3个分区。我希望我的消费者从同一个分区读取，但每条消息都应该以循环方式发送给不同的消费者。有可能实现吗？