Kafka：消费者无法从主题中读取记录
我们正在使用Kafka流将数据写入接收器主题。我正在运行一个avro消费者命令行来检查接收器主题中是否有数据：
bin/kafka-avro控制台-消费者-主题sink.output.topic-从开始-新消费者-引导-服务器
当我在kafka streams应用程序运行时同时运行消费者时，我会看到数据，但如果我停止消费者并在几分钟后再次运行，我不会看到任何数据。几乎没有可能：
1） 这是因为Kafka流每次将记录推入接收器时都会清除输出主题中的记录吗？
2） 或者这只是一个与消费者相关的问题？
共有2个答案
从您的描述来看，问题似乎与保留时间有关。第二次运行时，数据可能已删除。您可以配置保留时间
示例：log.retention.hours=168
我认为这是因为从一开始，只有当消费者还没有建立补偿时才使用。你试过用--最早偏移量来代替吗？
-
因为我是新的Kafka，所以我能够从文件中读取记录，并通过生产者将消息发送到Kafka主题，但不能通过消费者消费相同的主题。 注意：您可以从任何文本文件中读取数据，我使用的是Kafka2.11-0.9。0.0版本 这是我的密码： 下面是输出：
-
我有一个简单的java制作人，如下所示 我正在尝试读取如下数据 但消费者并没有从Kafka那里读到任何信息。如果我在处添加以下内容 然后消费者开始从题目开始阅读。但是每次消费者重新启动时，它都从我不想要的主题开始读取消息。如果我在启动消费程序时添加了以下配置 然后，它从主题中读取消息，但是如果消费者在处理所有消息之前重新启动，那么它不会读取未处理的消息。 有人可以让我知道出了什么问题，我该如何解决
-
我们有一个服务器，负责处理消息的生成和消费。我们有4台笔记本电脑，所有带有confluent的Mac都运行相同的命令行。。。 /kafka avro控制台使用者--从一开始--引导服务器0.0.0.0:9092,0.0.0.0:9092--主题主题名称--属性schema.registry.url=http://0.0.0.0:8081 4台笔记本电脑中有3台没有问题使用这些消息，但是第四台不会。
-
我们使用Akka流Kafka来生成和消费消息和Strimzi Kafka集群。以下是相关版本： 重构消息发出后，消费者停止工作。我们在主题中确实有一些信息，但消费者只是在无休止地等待。 以下是日志片段： 还有一些要点： 架构注册表配置正确且良好（否则生产者将无法工作）。 主题（和组协调器）很好，我可以通过这样的普通消费者消费消息： 这就是代码卡住的地方——我使用阻塞调用获取2条消息（甚至无法获取1
-
我有一个主题列表（目前是10个），其大小可以在未来增加。我知道我们可以产生多个线程（每个主题）来消耗每个主题，但在我的例子中，如果主题的数量增加，那么消耗主题的线程数量也会增加，这是我不希望的，因为主题不会太频繁地获取数据，所以线程将是理想的。 有没有办法让单个消费者从所有话题中消费？如果是的话，我们怎样才能做到呢？另外，Kafka将如何维护抵消？请建议答案。
-
我正在开发一个spring boot kafka消费者应用程序。它将有不同的消费者在不同的主题上工作。使用者的所有信息都来自application.yml文件。 我无法将应用程序属性中的主题列表设置到KafKalistener。 在这两种情况下,我都得到以下错误： java.lang.IllegalArgumentException：无法解析占位符 从应用程序属性获取主题并将其设置在KafkaLi