Kafka，从consumerRecord获取分区
如果我有一个主题，它有5个分区，然后我有一个服务消耗这5个分区。然后在consumer，我轮询并返回一个ConsumerRecords数组。
每个单独的ConsumerRecord是否可以来自这5个分区中的任何一个？
共有1个答案
那么，每个轮询的ConsumerRecords数组是否会由可以来自5个分区中任何一个的记录组成？
是的，当只有一个服务在运行时，它将从所有5个分区消耗。因此，每个轮询的consumerRecords数组将由来自5个分区中的任何一个分区的记录组成。
如果有第二个服务来自相同的5个分区，那么总共有两个服务来自相同的5个分区。对于相同的Kafka消息，每个服务中的分区号是否相同？
在这种情况下，对于相同的Kafka消息，每个服务中的分区号将是相同的。
-
我们希望在读取消息表单kafka时实现并行性。因此我们想在flinkkafkaconsumer中指定分区号。它将从kafka中的所有分区读取消息，而不是特定的分区号。以下是示例代码： 请建议任何更好的选择来获得并行性。
-
问题内容： 如何从代码中获取任何kafka主题的分区数。我研究了许多链接，但似乎没有一个起作用。 提及一些： http://grokbase.com/t/kafka/users/148132gdzk/find-topic-partition-count- through-simpleclient-api http://grokbase.com/t/kafka/users/151cv3htga/ge
-
出于特殊原因，我需要同时使用 （又名高级消费者）和 （又名低级消费者）来读取 Kafka。对于 ，我使用基于 ZooKeeper 的配置，并且对此完全满意，但 需要实例化种子代理。 我不想同时保留动物园管理员和经纪人主机的列表。因此，我正在寻找一种方法，从ZooKeeper中自动发现特定主题的经纪人。 由于一些间接的信息，我相信这些数据存储在ZooKeeper中的以下路径之一： < li > <代
-
如何从动物园管理员那里获得最后一次偏移时间？当使用Storm喷口阅读来自Kafka的消息时。上下文：Kafka 不断获取消息，使用者读取一段时间，然后由于任何原因关闭，然后使用者仅读取最新消息，但不读取上次偏移量读取
-
注：使用kafka_2.11-0.9.0.1 我创建了一个Kafka主题，名为：