需要以下步骤的帮助,了解如何使用Kafka主题中的消息并将其存储在/tmp/kakfa messages目录中
问题陈述:
创建Kafka使用者以使用主题“Multibrokerapplication”中的消息,并将其存储在“/tmp/kafka messages”中
步骤1:我能够使用发布到主题“Multibrokerapplication”的消息,如下所示。
bin/Kafka控制台消费者。sh—引导服务器本地主机:9092—主题Multibrokerapplication—从头开始
但是,如何实现第二步,即通过命令行将它们存储在文件夹/tmp/kafka消息中?
你能建议一下吗?
谢谢
输出重定向
bin/kafka控制台消费者。sh—引导服务器本地主机:9092—主题Multibrokerapplication—从头开始
但我建议您尝试将
connect standalone
命令与FileSinkConnector
类一起使用
我正在开发一个模块,它使用来自Kafka主题的消息并发布到下游系统。在下游系统不可用的情况下,消费者不确认Kakfa消息。因此,当我的消费者收到消息时,当下游系统不可用时,kakfa的偏移量将不会被提交。但是如果我在下游系统启动后收到新消息,并且当我确认该消息时,最新的偏移量将被提交,并且消费者永远不会收到主题中没有偏移量提交的那些消息。
我使用的是0.9.0.0版本的Kafka,我想在不使用管理脚本Kafka-console-consumer.sh的情况下计算主题中的消息数。 我已经尝试了答案Java“How to get number of messages in a topic in apache kafka”中的所有命令,但都没有结果。有人能帮我吗?
2016-07-05 03:59:25.042 O.A.S.D.Executor[INFO]正在处理-2元组的接收消息:源:__System:-1,流:__Tick,ID:{},[30] 2016-07-05 03:59:25.946 O.A.S.D.Executor[INFO]正在处理-2元组的接收消息:源:__System:-1,流:__Metrics_Tick,ID:{},[60] 我的测试
我正在开发一个使用的软件。我有一个用户订阅了多个主题,我想知道是否有一个订单接收来自这些主题的消息。我在我的电脑上尝试了一些组合,但我需要确定这一点。例 null [编辑]我想指定这两个主题各有一个分区,并且只有一个生产者和一个消费者。我需要首先阅读来自第一个主题的所有消息,然后阅读来自另一个主题的消息
我有一个Kafka集群(版本:0.10.1.0),有9个代理和10个分区。 我尝试使用camel kafka从java应用程序中获取消息。这是我的pom。xml 这只是我使用的与骆驼Kafka相关的依赖项。下面是骆驼Kafka消费者代码。 我正在使用文档中指定的KafkaURIhttps://camel.apache.org/components/latest/kafka-component.ht
有人能帮我弄清楚这件事吗。 谢了!