storm（具有多个工作节点）如何在读取kafka主题时保证消息处理
因此，在任何给定的时间，6个消息在Storm集群中并行处理。如果第二条消息失败，可能是由于工作人员关闭，也可能是由于主管关闭。动物园管理员已经指向消费者群体的7信息。在这种情况下，如何处理第二条消息？
共有1个答案
我想是有一些理解失误。下列说法似乎是错误的：
- 完成后螺栓关闭，喷口向前移动到下一个消息。
- 在任何给定时间，storm集群中并行处理6条消息
=>一个壶嘴不是在等待ACK；无论螺栓的处理速度如何，它都以最大的速度一遍又一遍地获取元组--只要在Kafka中有新的消息可用。（还是通过max.spout.pending限制了运行中元组的数量？）。因此，许多消息都是并行处理的（即使只给UDF提供#个执行器--许多其他消息都缓冲在内部Storm队列中）。
-
我创建了一个制作人和一个消费者，使用“Kafka节点”包发送和消费Kafka主题的消息。生产者和消费者通过API进行调用。POST方法用于向主题发送消息，而GET方法用于在消费者处从主题获取消息。 当我向KAFKA发送消息后调用consumer API时，之前的所有消息都会在。 我只需要最后一条消息，这是生产者发送的。 如何在不使用任何数组或任何东西的情况下获取最后一条消息。 有没有办法删除这个话
-
我有一个带有2个分区的源主题，我正在用同一个应用程序启动2个kafka streams应用程序。id，但不同的接收器主题。 1） 这两个应用程序实例是否会从不同的分区接收数据？ 2）如果其中一个应用程序被杀死，另一个实例会自动从两个实例中消耗吗？ 3） 我如何证明上述情况？
-
我想要任何关于Kafka如何维护消息序列的信息/解释，当消息被写入多个分区的主题时。例如，我有多个消息生成器，每个消息生成器按顺序生成消息，并用超过1个分区编写Kafka主题。在这种情况下，消费者组将如何工作来消费消息。
-
我有以下用例： 我有两个Kafka主题，一个是用来处理传入消息流的，另一个是用来存储记录的，作为应用程序初始状态的引导。 有没有办法做到以下几点： 当应用程序启动时，读取Kafka主题中的所有消息，并将该主题中用于将应用程序引导至初始状态的所有存储在内存中 只有在读取了所有消息后，才允许处理流主题中的 因为在应用程序运行时，状态主题上可能会有其他记录，以便在不必重新启动应用程序的情况下将它们合并到
-
我试图使用kafka-node从kafka主题读取压缩消息。 问题是，最近插入的消息留在EOL上方，在插入其他消息之前无法访问。实际上，EOL和高水位偏移之间存在间隙，这会阻止读取最新消息。原因尚不清楚。 已使用创建主题 主题中产生了许多关键值。有些钥匙是一样的。 这是插入的键和值 然后请求主题键集。 有一个高水位偏移量，表示最新的值10。然而，消费者看到的偏移值只有7。不知何故，压缩阻止了消费者
-
假设我有一个名为的Kafka主题，它有几个消息类型（每个消息类型都有不同的Avro模式），如、等等。我想了解一下用Spring Cloud Stream发布/接收相同主题的不同类型是否可行（而且有意义）。特别是，拥有几个将非常有用，每个专用于特定类型。根据这篇博文，当需要订购消息时，这是非常有用的，因为它们与同一个实体相关。这种情况下的配置示例是什么？