Kafka streams：主题分区->消费者1:1映射未发生
我已经编写了一个streams应用程序，用于在由5个代理和10个分区组成的集群上与主题对话。我在这里尝试了多种组合，比如10个应用程序实例（在10台不同的机器上），每个实例有1个流线程，5个实例每个实例有2个线程。但由于某种原因，当我签入kafka manager时，分区和流线程之间的1:1映射没有发生。一些线程正在拾取2个分区，而一些线程没有拾取任何分区。你能帮我做同样的事吗？？所有线程都是同一组的一部分，并且只订阅一个主题。我们使用的kafka streams版本是0.11.0.2，代理版本是0.10.0.2
多谢你的帮忙
共有1个答案
也许你在打https://issues.apache.org/jira/browse/KAFKA-7144--我建议升级到最新版本。
注意：您不需要升级您的代理
-
假设我有一个名为“MyTopic”的主题，它有3个分区P0、P1和P2。这些分区中的每一个都有一个leader，并且本主题的数据（消息）分布在这些分区中。 1.Producer将始终根据代理上的负载以循环方式写到分区的领导者。对吗？ 2.制作人如何认识隔断的首领？
-
我正在阅读Kafka常见问题解答，他们如下所示。 •每个分区不会被每个使用者组中的多个使用者线程/进程使用。这允许每个进程以单线程方式使用，以保证分区内的使用者的顺序（如果我们将有序消息分割成一个分区并将它们传递给多个使用者，即使这些消息是按顺序存储的，它们有时也会被无序地处理）。 有没有可能，
-
我们有一个服务器，负责处理消息的生成和消费。我们有4台笔记本电脑，所有带有confluent的Mac都运行相同的命令行。。。 /kafka avro控制台使用者--从一开始--引导服务器0.0.0.0:9092,0.0.0.0:9092--主题主题名称--属性schema.registry.url=http://0.0.0.0:8081 4台笔记本电脑中有3台没有问题使用这些消息，但是第四台不会。
-
问题内容： 我想创建一个。基本上，我想使用一种说明该类型的方法来映射一个类型。 我希望能够动态地说出对象X，执行Y。我可以 但它很烂，因为然后我必须在使用它时将对象投射到兰巴中。 例： 我想做的是 但这似乎是不允许的。有没有办法做到这一点 ？使用此类型的方法映射类型的最佳解决方法是什么？ 问题答案： 本质上，这与Joshua Bloch所描述 的类型安全的异构容器类似，只是您不能使用来强制转换结果
-
现在，让我们考虑另一个场景（我没有尝试过，但我很好奇），在这个场景中，我启动了两个使用者进程和，这两个进程都具有相同的组，并且它们都是一个单线程进程。现在我的问题是： > 在这种情况下，两个独立的使用者进程（在同一个组下）将如何与分区相关？与上面的单进程多线程场景有何不同？ 一般来说，使用者线程或进程如何与主题中的分区映射/相关？ 关于将消费者实现为进程与线程，我在这里遗漏了什么微妙的事情吗？提前
-
我有一个主题列表（目前是10个），其大小可以在未来增加。我知道我们可以产生多个线程（每个主题）来消耗每个主题，但在我的例子中，如果主题的数量增加，那么消耗主题的线程数量也会增加，这是我不希望的，因为主题不会太频繁地获取数据，所以线程将是理想的。 有没有办法让单个消费者从所有话题中消费？如果是的话，我们怎样才能做到呢？另外，Kafka将如何维护抵消？请建议答案。