当前位置: 首页 > 知识库问答 >
问题:

Kafka 0.10快速启动:当“主”代理被扳倒时,消费者失败

强烨
2023-03-14

所以我尝试了kafka quickstart的主要文档。得到了多集群的例子,所有设置和测试的说明,它的工作。例如,扳倒一个代理,生产者和消费者仍然可以发送和接收。

经纪人1有什么特别的吗?查看配置,除了id、端口号和日志文件位置之外,所有3个代理之间的配置完全相同。

我认为这只是提供的控制台使用者没有接受代理列表的问题,所以我按照他们的文档使用默认设置编写了一个简单的java使用者,但是在“bootstrap.servers”属性中指定了代理列表,但是没有骰子,仍然会遇到同样的问题。

当我启动Broker1(broker id=0)时,消费者将刚刚恢复工作。对于消费者来说,这不是一个高度可用/容错的行为...关于如何设置HA/容错使用者有什么帮助吗?

制片人似乎没有问题。

共有1个答案

简俊楚
2023-03-14

如果您遵循快速启动,创建的主题应该只有一个分区和一个副本,该副本默认情况下驻留在第一个代理中,即代理1。这就是为什么当你打倒这个经纪人时,消费者失败了。

尝试创建一个具有多个副本的主题(在创建主题时指定--replication-factor),并重新运行测试,看看它是否带来了更高的可用性。

 类似资料:
  • 我尝试了kafka身份验证SASL_PLAINTEXT/SCRAM,但在Spring Boot中身份验证失败。 我尝试更改SASL_PLAINTEXT/PLAIN,它正在工作。但是SCRAM是身份验证失败SHA-512和SHA-256 做了很多不同的事情,但它不起作用……我该如何修复它? 代理日志 Spring启动日志 我的docker-compose.yml kaka服务器jaas.conf z

  • 主要内容:1 创建DefaultMQPushConsumer实例,2 subscribe订阅,3 start启动消费者,3.1 copySubscription拷贝订阅关系,4 小结基于RocketMQ release-4.9.3,深入的介绍了消费者DefaultMQPushConsumer启动主要流程源码。 此前我们学习了Producer和Broker的启动源码,以及Producer发送消息源码和Broker接收存储消息的源码,现在,我们来学习Consumer的启动以及消费消息的源码。Cons

  • 我试图做一个简单的poc与Spring启动与版本(2.3.7发布)的SpringKafka,以实现消费者批处理的工作原理,以及如何再平衡工作,如果消费者需要更多的流转时长,因为我是全新的这个消息系统。 现在我看到kafka重新平衡单个消费者(不允许并发)的问题。 这些是我设置的max.poll.interval属性。ms=50000和factory.getContanerProperties。se

  • 我们有一个制作人 在开发过程中,我重新部署了producer应用程序,并做了一些更改。但在此之后,我的消费者没有收到任何消息。我尝试重新启动消费者,但没有成功。问题可能是什么和/或如何解决? 消费者配置: 生产者配置: 编辑2: 5分钟后,消费者应用程序死亡,但以下情况除外:

  • 这是一个关于Kafka和信息如何被消费的非常基本的问题,但不幸的是,我在这一点上找不到任何答案。 假设我想过度分区,那么我将得到比消费者多10倍的分区。过度分区是必需的,因为我希望能够扩展(在未来并行处理更多的消息)。 1 个主题分为 1000 个分区,由 100 个使用者使用 =- 我的问题是: > 消息是如何为每个消费者消费的:它是以循环方式完成的吗?如果不是,分发是如何完成的? 有没有保证消

  • 我有一个Kafka集群正在运行,当重新启动应用程序(消费者)时,它会跳过一些在应用程序关闭时推送到主题的消息。 当应用程序启动时,我可以看到它读取带有偏移量的消息,然后将偏移量推送到。然后当应用程序关闭时,带有偏移量的消息被推送到主题。重启应用程序后,它读取并将其偏移量设置为,因此跳过。 这是我的配置: