Kafka-主题、分区和消费者
假设我有一个名为“MyTopic”的主题，它有3个分区P0、P1和P2。这些分区中的每一个都有一个leader，并且本主题的数据（消息）分布在这些分区中。
1.Producer将始终根据代理上的负载以循环方式写到分区的领导者。对吗？
2.制作人如何认识隔断的首领？
共有1个答案
-
如何在apache/kafka中使用regex消费所有主题？我尝试了上面的代码，但不起作用。
-
跟进这个问题——我想知道消费者组和偏移过期之间的语义学。总的来说，我很想知道，kafka协议如何确定一些特定的偏移量（对于消费者组、主题、分区组合）过期？它是基于作为组协议一部分的消费者的定期提交，还是在所有消费者被视为已死/关闭后应用？我认为这可能会在处理数据不经常生成的主题分区时产生影响。在我的例子中，我们有一个来自相当主题的消费者组读取（产生的数据不多）。由于消费者组不定期提交任何偏移量，我
-
现在，让我们考虑另一个场景（我没有尝试过，但我很好奇），在这个场景中，我启动了两个使用者进程和，这两个进程都具有相同的组，并且它们都是一个单线程进程。现在我的问题是： > 在这种情况下，两个独立的使用者进程（在同一个组下）将如何与分区相关？与上面的单进程多线程场景有何不同？ 一般来说，使用者线程或进程如何与主题中的分区映射/相关？ 关于将消费者实现为进程与线程，我在这里遗漏了什么微妙的事情吗？提前
-
我有一个主题列表（目前是10个），其大小可以在未来增加。我知道我们可以产生多个线程（每个主题）来消耗每个主题，但在我的例子中，如果主题的数量增加，那么消耗主题的线程数量也会增加，这是我不希望的，因为主题不会太频繁地获取数据，所以线程将是理想的。 有没有办法让单个消费者从所有话题中消费？如果是的话，我们怎样才能做到呢？另外，Kafka将如何维护抵消？请建议答案。
-
我已经编写了一个streams应用程序，用于在由5个代理和10个分区组成的集群上与主题对话。我在这里尝试了多种组合，比如10个应用程序实例（在10台不同的机器上），每个实例有1个流线程，5个实例每个实例有2个线程。但由于某种原因，当我签入kafka manager时，分区和流线程之间的1:1映射没有发生。一些线程正在拾取2个分区，而一些线程没有拾取任何分区。你能帮我做同样的事吗？？所有线程都是同一
-
null 我在这一页上读到以下内容： 使用者从任何单个分区读取，允许您以与消息生成类似的方式扩展消息消耗的吞吐量。 也可以将使用者组织为给定主题的使用者组-组内的每个使用者从唯一分区读取，并且组作为一个整体使用来自整个主题的所有消息。 如果使用者多于分区，则某些使用者将空闲，因为它们没有可从中读取的分区。 如果分区多于使用者，则使用者将从多个分区接收消息。 如果使用者和分区的数量相等，则每个使用者