我正在给Kafka写一个msg,然后在另一端消费。在里面做一些过程,并把它写回另一个Kafka主题。
我想知道哪个消息响应是哪个请求...
当前决定捕获来自消费者侧的偏移id然后在响应中写入和读取响应有效载荷并决定相同。
对于这种方法,我们需要阅读每条消息。根据消费者配置条件,我们还有其他方法可以使用吗?
消费者只能阅读整个主题。您只能通过seek()
跳过消息,但您不能在代理上计算条件以筛选消息。
您需要在客户端的进程/过滤器中使用整个主题。
我是Kafka的新手,正在学习Kafka内部知识。请根据需要随时更正我的理解。。 这是我的实时场景..感谢所有的回复: 我有一个接收数据文件的实时FTP服务器…比如索赔文件。 我将把这些数据发布到一个主题中.让我们把这个主题称为claims_topic(2个分区). 我需要订阅这个claims_topic,阅读消息并将它们写入Oracle和Postgres表。让我们将oracle表称为Otable
我有一个多分区主题,由多个使用者(同一组)使用。我的目标是最大化消费处理,即任何消费者都可以消费来自任何分区的消息。 我知道这看起来是不可能的,因为只有一个消费者可以从一个分区中消费。 有没有可能使用REST代理来实现这一点?例如,轮询所有代理消费者实例。 谢了。
我有一个用例,在这个用例中,我有3个Kafka消费者向一个主题写作,每个消费者中的消息都需要按顺序处理。在这种情况下,如果某个消费者中存在延迟,则需要更早处理的消息将被丢弃(写入条件)。那么,有没有一种方法可以维持这些消息的顺序呢。
我在使用Kafka时遇到了一些问题。非常感谢任何帮助!我在docker swell中分别有zookeeper和kafka集群3个节点。您可以在下面看到Kafka代理配置。 我的情况: < li > 20x位制片人不断向Kafka主题传达信息 < li>1x消费者读取和记录消息 < li >终止kafka节点(docker容器停止),因此现在群集有2个Kafka代理节点(第3个节点将自动启动并加入群
本文向大家介绍Kafka 消费者是否可以消费指定分区消息?相关面试题,主要包含被问及Kafka 消费者是否可以消费指定分区消息?时的应答技巧和注意事项,需要的朋友参考一下 Kafa consumer消费消息时,向broker发出fetch请求去消费特定分区的消息,consumer指定消息在日志中的偏移量(offset),就可以消费从这个位置开始的消息,customer拥有了offset的控制权,可
kafka机器作为hortonworks包的一部分安装,版本为0.1X 我们运行应用程序,使用主题中的数据 在最后几天,我们看到我们的应用程序--失败了,我们开始寻找根本原因 在集群中,我们看到以下行为 从侧集群是健康的,所有的主题都是平衡的,所有的kafka经纪人都正确地向zooManager签名 一段时间后(几个小时),我们再次运行以下内容,但没有错误- 我们得到以下正确的结果 所以我们想了解