《中邮消费金融》专题

有以下消费者代码: 然后我用脚本生成消息: 问题是，当我将消费者作为两个不同的进程启动时，我会在每个进程中收到新消息。但是，我希望它只发送给一个消费者，而不是广播。 在Kafka的文献中(https://kafka.apache.org/documentation.html)其中写道： 如果所有使用者实例都具有相同的使用者组，则其工作原理就像在使用者之间平衡负载的传统队列一样。 我发现这些消费者的

我有一个Kafka系统，看起来像这样（所有消费者都在一个消费者群体中）： 在每个消费者中，我轮询消息，然后进行昂贵的计算（从1到60秒）。如果操作成功，我将提交消费者。 在我提交之前，另一个使用者是否会开始处理相同的消息？我需要保证，一旦消息被拾取，它就会被只执行一次 - 除非处理中途失败。

谁能请解释和指导我链接或资源阅读关于Kafka消费者如何在下面的场景下工作。 > 一个有5个消费者的消费者组和3个分区的主题（Kafka是如何决定的） 一个消费者组有5个消费者，主题有10个分区（kafka如何分担负载） 两个消费者组和两个服务器的kafka集群，其中一个主题被划分在节点1和节点2之间，当来自不同组的消费者订阅到一个分区时，如何避免重复。 上面可能不是配置kafka时的最佳实践，但

当所有的经纪人都起来的时候，一切都是好的。但是，如果我先杀死（按开始顺序），代理消息会被发送到代理，但使用者不能接收到任何消息，消息不会丢失。启动该代理后，使用者立即接收消息。 关闭broker实例后的使用者日志： 再次启动丢失的代理后的使用者日志： 谢谢

我希望flink consumer stream中的每条消息都能使用flink kafka producer生成多条消息，每条消息都通过一个单独的线程指向Kafka中的某个主题。我正在用Scala编写程序，但用Java就可以了 类似这样： 因此，对于flink消费者中的每个输入，我希望使用多线程向其他队列生成10条消息。

我是Kafka的新手，运行一个简单的Kafka消费者/生产者的例子，就像在Kafka消费者和KafkaProducer上给出的那样。当我从终端运行消费者时，消费者正在接收消息，但我不能使用Java代码监听。我也在StackoverFlow上搜索了类似的问题（链接： Link1，Link2），并尝试了解决方案，但似乎没有什么对我有用。kafka版本：和相应的maven依赖在pom中使用。 Java生

我已经建立了一个由3个节点组成的AWS集群。我修改了节点的/etc/hosts文件，看起来像这样 当我从其中一个节点运行命令时 bin/kafka-console-consumer.sh --bootstrap-server kafka1：9092 --topic first_topic --from-start 它可以工作，但是当我用ip替换主机名并用下面的命令运行它时 bin/kafka-co

这与以下问题几乎相同：发送给具有相同消费者组名称的所有消费者的消息。公认的答案是使用Kafka 0.8.1或更高版本，我就是这么做的。 Kafka留档说： 如果所有使用者实例都具有相同的使用者组，则其工作原理就像在使用者之间平衡负载的传统队列一样。 但是我无法使用 Kafka 0.8.2.1 和 kafkacat 观察到这种行为。 我的设置： Kafka Zookeeper 运行在 spotify

我们有一个非常简单的Kafka Consumer（v 2.6.2）。它是使用者组中唯一的使用者，并且该组是唯一一个阅读主题的组（有6个分区，其中有大约300万个事件）。Broker也是2.6.x版本 由于我们需要实现一个“只有一次”的场景，我们深入研究了一下，如果我们真的只使用一次写入主题的每个事件。不幸的是，我们发现：消费者有时会跳过一个偏移量，有时甚至会跳过一组分区的偏移量。 消费者除了记录之

我可以在命令行上针对Kafka位置安装发送和接收消息。我也可以通过Java代码发送消息。这些消息显示在Kafka命令提示符中。我还有一个Kafka消费者的Java代码。代码昨天收到了消息。但是今天早上没有收到任何消息。代码没有更改。我想知道属性配置是否不太正确。这是我的配置： 制片人： 生产记录设置为 消费者： 对于Java代码： 少了什么？

我的应用程序使用来自RabbitMQ的一些消息并对其进行处理。我有大约10个队列，每个队列最多有10个消费者（线程）。我有5次预回迁。我正在Heroku中使用CloudAMQP插件（RabbitMQ作为服务）运行安装程序。 我使用默认心跳和连接超时设置（60秒）运行。 我的java应用程序是一个使用sping-Rabbit库的Spring Boot应用程序。 版本： 问题是对于一个特定队列的消费者

在一个消费者群体中的所有消费者都失败后，kafka会将该消费者群体的补偿存储多长时间？是否有此配置变量？

我使用RabbitMQ作为不同消息的队列。当我使用来自一个队列的两个不同消费者的消息时，我会处理它们并将处理结果插入数据库： 我想大量使用队列中的消息，这将减少数据库负载。由于RabbitMQ不支持消费者批量读取消息，我将这样做smth： 消息在全部完全处理之前处于队列中 如果消费者跌倒或断开连接 - 消息保持安全 你认为这个解决方案怎么样？如果可以的话，如果消费者摔倒了，我怎样才能重新得到所有未

我试图做一个简单的poc与Spring启动与版本（2.3.7发布）的SpringKafka，以实现消费者批处理的工作原理，以及如何再平衡工作，如果消费者需要更多的流转时长，因为我是全新的这个消息系统。 现在我看到kafka重新平衡单个消费者（不允许并发）的问题。 这些是我设置的max.poll.interval属性。ms=50000和factory.getContanerProperties。se

我用flink1。10.0，然后发现一个奇怪的问题。 我提交同一份工作两次。 两份工作属于同一组。id，但他们每个人都可以读取数据。下面的日志显示同一事件消耗两次。 我已经设定了“团队”。代码中的id。 那么，为什么同一群体的两名客户会两次消费Kafka的产品呢？ FlinkKafkaConsumer有什么特别的实现吗？ 更新： 我做了一些测试，启动了两个控制台消费者和一个flink消费者。 如果