《kafka》专题

我的Kafka Streams应用程序正在使用以下键值布局的kafka主题：

我以json字符串的形式生成输入数据。 对于主题-myinput 我的班级是这样的： 我得到下面类铸造异常： 线程“countries-streaming-analysis-app-f7f95119-4401-4a6e-8060-5A138FFADB2-StreamThread-1”组织中的异常。阿帕奇。Kafka。溪流。错误。异常：流程中捕获到异常。taskId=0_0，processor=KS

Kafka-来自同一组的多个使用者分配了相同的分区 我刚刚开始学习Kafka和诺德。我已经写了一篇关于消费者的文章如下 输出 有四个分区。 编辑 我使用了，如下所示。 生产者正在发送100条消息，收到的消息如下。这就是我如何知道分配的分区（不是从对象）。 当我运行两个这样的使用者实例（相同的主题和组）时，其中只有一个接收来自分区0的所有内容。这不是问题吗？ 这是生产商代码。

我有一个将消息写入主题/分区的生产者。为了保持顺序，我希望使用单个分区，我希望12个使用者读取来自这个分区的所有消息（没有使用者组，所有消息都应该发送给所有使用者）。这是可以实现的吗？我读过一些论坛，每个分区只有一个用户可以阅读。

我正在设计高通量系统，在那里我将有几个生产者。 我的主题将被分割。生产者将发送记录作为键值对。 键将用于对数据进行分区。 消费者将被组织在消费者组中（他们将被分配相同的组id，以便他们可以同时使用来自同一主题但来自不同分区的消息）。 Kafka保证消息在单个分区中的顺序。 消费者将被分配公平份额的分区。 唯一让我担心的是，我的分区键不会以循环方式分发消息，有些分区可能比其他分区更忙。 问：不均匀的

集群由4个节点中的每个节点上的16个引线进行平衡 ISR在4个箱子中也保持平衡，每个箱子有32个ISR[复制系数为2] 所有4个盒子上的网络输入和输出几乎相等 请求任何帮助或可以查看的领域/指标来调试此异常。 对于将来正在搜索此信息的人https://mail-archives.apache.org/mod_mbox/kafka-users/201710.mbox/

我有Kafka集群有3经纪人和一对夫妇的主题，每个有5分区。现在我想为分区设置复制因子。 我可以为kafka主题的分区设置的最大复制因子是什么？

试图理解Kafka中的消费者群体行为。示例4分区可用。在消费者方面，消费者群体控制着4个消费者。在这种情况下，在消费者组中的4个消费者中，只有一个消费者始终收到消息。其他人总是无所事事。可能的原因是什么？ 是否所有分区都保存相同的消息？或者所有分区都有相同的消息？或者我们可以认为分区不是均匀分布的吗？

我有一个带有4个分区的Kafka主题，因为我有一个带有4个消费者的消费者组。 我的目的是确保消息在分区之间均匀分布。 有没有办法验证kafka主题的跨分区消息分布？

我刚接触Kafka，很少阅读教程。我无法理解使用者和分区之间的关系。 请回答我下面的问题。 > 消费者是否由ZK分配到单个分区，如果是，如果生产者将消息发送到不同的分区，那么其他分区的消费者将如何使用该消息？ 我有一个主题，它有3个分区。我发布消息，它会转到P0。我有5个消费者（不同的消费者群体）。所有消费者都会阅读P0的信息吗？若我增加了许多消费者，他们会从相同的P0中阅读信息吗？如果所有消费者

假设我有2个Kafka主题登录和注销按用户名分区，并具有相等数量的分区。如果我运行一个由两个消费者组成的消费者组，同时使用两个主题，我是否可以确定每个用户的登录和注销事件将由同一个消费者处理？

Kafka消费群体的滚动部署是否会导致该群体冻结？ 让我们来考虑一下这个场景， 我们开始滚动部署 因此，如果您有一个足够大的集群，并且需要一些时间才能在一台机器上完成部署（通常情况下），这会导致消耗完全冻结吗？ 如果是，在生产中进行消费者群体更新的策略是什么

当一个组中只有一个消费者，并且认为消费者无法在session.time.out内进行轮询时，将触发重新平衡，但是在这种情况下，组中只有一个消费者，现在假设session.time.out是30秒和消费者民意调查后50秒组协调员将识别消费者后50秒，并允许它提交偏移或协调员将断开消费者和没有偏移得到提交，并将重新平衡消费者与新的消费者标识？如果上次提交的偏移量是345678，在下一次轮询中，它处理了

我有2个Kafka消费者共享相同的消费者组ID，但订阅不同的主题。它们中的每一个都只能从相应的主题中阅读。 当第一个使用者运行时，会从其订阅的主题中为其分配分区。当第二个使用者也运行时，使用者组会重新平衡（导致分配给第一个使用者的分区被撤销）。到目前为止，一切顺利。这与Kafka消费群体Id和消费者再平衡问题中的讨论一致。 但是，我开始在消费者1中看到TOPIC_AUTHORIZATION_FAI

我遇到了一件关于Kafka再平衡的奇怪事情。如果我增加某个主题的分区，而该主题是由一些java使用者（在同一个组中）订阅的，则不会发生使用者再平衡。在那之后，我试图通过启动一个新的消费者（或杀死一个消费者）来实现重新平衡，但在这个重新平衡中无法分配新增加的分区。我发现只有在停止所有使用者并启动它们之后，才能分配新分区。我不知道这是正常还是有任何解释。 下面是我在电脑上的测试： 1.启动Kafka，