《中邮消费金融有限公司》专题

我正在尝试使用高级消费者批量读取Kafka主题中的消息。在这批读取期间，我的线程必须在某个时候停止。 或者，一旦主题中的所有消息都用完了。或获取消息即将被读取时的最大偏移量，并停止直到达到最大偏移量。 我尝试在高级消费者处使用代码，但 KafkaStream 上的迭代器方法似乎是一个阻塞调用，并等待另一条消息传入。 所以3个问题， > 我怎么知道没有更多消息要从该主题中读取？ 如果我对上述问题有答

如何在apache/kafka中使用regex消费所有主题？我尝试了上面的代码，但不起作用。

一、消费者和消费者群组 在 Kafka 中，消费者通常是消费者群组的一部分，多个消费者群组共同读取同一个主题时，彼此之间互不影响。Kafka 之所以要引入消费者群组这个概念是因为 Kafka 消费者经常会做一些高延迟的操作，比如把数据写到数据库或 HDFS ，或者进行耗时的计算，在这些情况下，单个消费者无法跟上数据生成的速度。此时可以增加更多的消费者，让它们分担负载，分别处理部分分区的消息，这就是

我的Ruby项目中有一个模型重发，它包含内容和状态列。 使用EventMachine使用状态为0的所有记录的最佳/最快方式是什么？ 我想创建一个简单的worker，它尝试在每个时段（比如每5分钟）查找status==0的记录 我对EventMachine还是新手，找不到那么多关于如何处理DB的例子。 到目前为止，我做了如下工作，但不确定这是否是最好的实现： 任何帮助都将不胜感激

使用spring集成Kafka dsl，我想知道为什么监听器不能接收消息？但是同样的应用程序，如果我用KafkaListener注释的方法替换spring integration DSL，就能够很好地使用消息。DSL让我错过了什么？ 不消耗的DSL代码：

我是Kafka的新手，我想验证我的设计。下面是我所拥有的。 我有一个生产者发布到一个主题，有一堆容器（部署我的web应用程序的地方），每个容器上都运行着一个消费者。这些消费者不在消费者组中，也不独立地消费消息。每个消费者都应该阅读主题中的所有消息。例如，假设主题m0,m1,m2上有3条消息，那么consumer1到consumerN应该独立地读取m0,m1,m2。每个使用者在处理读取的消息后立即提

我正在使用一个Kafka产品和一个SpringKafka消费者。我正在使用Json序列化器和反序列化器。每当我试图从主题中读取消费者中的消息时，我会得到以下错误： 我没有在生产者和消费者中配置任何关于头的内容。我错过了什么？

我正在执行Kafka的ConsumerGroupExample消费程序，它挂起等待消息 它似乎正在挂起等待消息（在https://cwiki.apache.org/confluence/display/kafka/consumer+group+example，在“for（final KafkaStream stream stream：streams）”处等待。 我已经采取的几个步骤：(A)反复停止

但是我需要在中调用，以生成带有String1和头部的使用者。

我正在学习如何使用Spring4构建RESTful web服务，但有一点我不清楚，那就是@RequestMapping。我见过使用的示例，以及使用consumes（或produces）的其他示例。 例如，在我自己的@RESTController类中，我有这个函数... 使用与使用consumes甚至使用？ 有人能解释一下头和消费/生产之间的区别，以及它们是何时使用的吗？

我需要想办法向Kafka要一份题目清单。我知道可以使用目录中包含的脚本来实现。一旦我有了这个列表，我需要每个主题的所有消费者。我在该目录中找不到脚本，在库中也找不到允许我这样做的类。 这背后的原因是，我需要弄清楚话题的偏移和消费者的偏移之间的区别。 有没有办法做到这一点？还是需要在每个消费者中实现此功能？

我有一个Kafka代理，有多个主题，每个主题都有一个分区。 我有一个消费者，它可以很好地使用主题中的消息 我的问题是，我需要通过增加分区的数量来提高消息队列的吞吐量，比如说，我在一个主题上有四个分区，有没有一种方法可以让我编写四个消费者，每个消费者都指向该主题上的各个分区？？？ }

有没有一种方法实现一个断路器模式与SpringKafka为基础的消费者。我想知道，在实现我的Spring kafka consumer时，如果基于某个外部系统的数据处理失败并引发网络错误，是否可以停止使用记录。但是，如果解决了网络问题，消费者应该再次正常处理。

我正在使用Spring Kafka consumer,它从主题中获取消息并将其保存到数据库中。如果满足故障条件，例如db不可用，kafka消费者库是否提供重试机制？如果是，是否有方法设置不同的重试间隔，如第1次重试应在5分钟后进行，第2次重试应在30分钟后进行，第3次重试应在1小时后进行等。

我想用C#听Kafka主题的消息。 与Java中一样，还有一个注释@KafkaListener，当添加到函数上方时，它会侦听来自主题的消息，然后执行函数的逻辑。 示例-@KafkaListener（topics=“topicname”，groupId=“groupId”）//这里的函数代码 同样，C#中是否有使用Confluent的注释。Kafka