如果我的分区比使用者多，我会丢失消息吗？
我正在使用storm-kafka api阅读来自一个带有3个副本和70个分区的kafka主题的消息，我正在使用的kafka spout有15个执行者，是否可能丢失消息，因为我没有70个执行者？
我如何确保Kafka中的所有消息都被一个消费者接收到？
共有1个答案
默认情况下，Kafka对您已经知道的数据提供了至少一次交付担保。如果使用者实例少于使用者组的分区，那么使用者将根据分区分配策略被分配多个分区。默认情况下，它使用RangeAsSignor。您可以在这里阅读关于Kafka的传递语义的更多信息。
-
我编写了一个非常简单的Flink流媒体作业，它使用从Kafka获取数据。 这工作得很好，每当我在Kafka上将某些内容放入主题时，它都会被我的Flink作业接收并处理。现在我试图看看如果我的Flink作业由于某种原因不在线会发生什么。所以我关闭了flink作业并继续向Kafka发送消息。然后我再次开始我的Flink作业，并期望它会处理同时发送的消息。 然而，我得到了以下信息： 因此，它基本上忽略了
-
我正在使用kafka-producer并将数据发送到kafka-cluster（由三个代理组成）中由replication-factor 3和partitions 1组成的主题'test-topic'。 我创造了五条线。每个线程发送了10,000条消息（每个消息大小为4000字节）。 我预计最新抵销50,000,但实际上是44,993. 约有5,000条信息丢失。 为什么会出现消息丢失？在我的代码
-
如果一个主题订阅者在向该主题/订阅者发送推送通知时没有在线，那么他/她的消息会丢失还是当他们在线时才收到消息？
-
给定以下设置： Kafkav0.11.0.0 3个经纪人 2个主题，每个主题有2个分区，复制因子为3 2个消费者组，每个主题一个 3个包含使用者的服务器 服务器包含两个使用者，每个主题一个，这样： null null null 消费者-B1被分配到topic-1分区-1 消费者-C1被分配到topic-1分区-0 消费者-A1没有分配给分区 这似乎正如我们所料。由于分区计数为2，我们只有两个活动消
-
我错过了什么？ AMQ版本5.13.2 Java 1.8.0\u 74 Windows 10 给定一个简单的测试用例，传输两条Object消息，一条带有数据，另一条是数据结束标记。只有数据结束标记被接收。 队列在作业开始时创建，并在作业完成后销毁。 如果我运行更多的事务，我会看到大约50%的接收率。 日志清楚地显示接收器在第一条消息被放入队列之前就已启动，两条消息都被放入队列，但实际上只有第二条消
-
谁能请解释和指导我链接或资源阅读关于Kafka消费者如何在下面的场景下工作。 > 一个有5个消费者的消费者组和3个分区的主题（Kafka是如何决定的） 一个消费者组有5个消费者，主题有10个分区（kafka如何分担负载） 两个消费者组和两个服务器的kafka集群，其中一个主题被划分在节点1和节点2之间，当来自不同组的消费者订阅到一个分区时，如何避免重复。 上面可能不是配置kafka时的最佳实践，但