嗨,我正在使用KafkaCLI,以清楚地了解Kafka的工作原理。我对消费者群体感到困惑。我用三个分区创建了主题。我将创建producer,为主题提供一些数据。第一次我添加了一些数据,如下所示。 现在我的理解是user1、user2、user3会随机到三个不同的分区。 创建消费群时,如下所示。 这将给我所有的user1、user2、user3。 现在,在一个消费者组中,我可以有许多消费者。如果消费
场景: 运行从名为“test”的具有10个分区的分区中消耗的Spring Boot项目。分区分配发生在13:00:00 在~13:00:30使用: 在~13:05:30触发分区重新分配。 我运行了几次这些步骤,看起来每5分钟就有一次重新分配 是否有办法更改重新分配检查操作频率 编辑: 我的用例如下:我们有引导微服务的集成测试。当主题的使用者首先引导时,如果主题不存在并且它创建的分区数等于配置的并发
我们正在开发一个应用程序,我们想听Kafka中不止一个主题。所有主题都有一个分区。所有主题名称都有一个公共的前缀,例如“test-x”、“test-y”,所以我们可以对它使用spring。 我们希望编写一个java spring使用者,它使用模式监听所有主题。我们的想法是,我们可以运行同一个消费者(属于同一个组)的多个实例,Kafka将为不同的消费者分发来自不同主题的消息。 然而,这似乎并不奏效。
我对SpringBoot中的Kafka批处理侦听器有问题。 这是@KafkaListener 对于我的问题,这个解决方案不起作用,因为提交批处理。对于我的解决方案,我需要提交单个消息的偏移量。 我尝试使用
我有一个基于服务的应用程序,它使用Amazon SQS,具有多个队列和多个消费者。我这样做是为了实现一个基于事件的架构,并解耦所有服务,其中不同的服务对其他系统状态的变化做出反应。例如: 注册服务: 当新用户注册时,发出事件“registration new” 在用户更新时发出事件'user-更新'。 从队列“registration new”(注册新)中读取,并为搜索中的用户编制索引 从“注册-
我看了Kafka的文件,还不知道如何消费一个话题平行? 假设:我有一个像“发生了一些事情”这样的话题(不要拆分这个话题),我有很多想消费它的客户。那么该怎么办,让多个客户并行消费呢?我应该使用分区和客户群吗?
我们有一个问题,似乎Kafka消费者没有收到发布到某个主题的消息。(我说这是因为我还没有弄清楚这件事的真相,我可能错了。) 我使用Spring for Apache Kafka,而我的消费者实际上是一个用注释的方法。 这个问题是断断续续的,我很难重新创建它。 有没有一种方法让我看看Kafka经纪人的日志,或任何其他工具,以帮助我找出抵消为我的消费者?我想要具体的证据来证明我的消费者是否收到了信息。
请有人向我解释一下这两种方法的区别: 以及:
Spring cloud stream starter kafka在连接消费者时没有加载配置。以下是我在调试模式下运行控制台时在控制台中看到的配置: 我有以下引导yml文件的配置部分
我开发了一个基于Java的Kafka消费者,其中每个消费者实例有100个线程,当消费过程开始时,每个线程都得到一个分区(因为有100个分区),然后消费就完成了。 但这里的问题是这只是一个消费者。但是如果我添加多个nodejs进程,我可以完成100个消费者,但是添加每个消费者是一个成本很高的再平衡操作。 我想知道这是否正确的做法?有没有一种方法可以使用Kafka节点触发一个100线程的消费者?
我使用MQTT消费者作为我的flink作业的数据源。我想知道如何将数据偏移保存到检查点中,以确保flink集群在故障后重新启动时不会丢失数据。我看过很多介绍apache flink如何管理kafka消费者补偿的文章。有人知道apache flink是否有自己的功能来管理MQTT使用者吗?谢谢
我克隆了SCDF Kinesis示例:https://github.com/spring-cloud/spring-cloud-dataflow-samples/tree/master/dataflow-website/recipes/kinesisdemo并运行相同的示例。kinesis生产者正在运行并将事件发布到kinesis。但是,由于以下错误,Kinesis消费者Spring启动失败。请让
配置类: 消费阶层:
目前,我正在查看Liferay及其portlet功能,尤其是通过WSRP的远程portlet。 我有两个liferay实例在同一网络中的不同机器上运行。现在我想将一个portlet从一个liferay实例共享到另一个实例,因此我在两个安装上都安装了WSRP应用程序,并将其中一个节点配置为WSRP生产者,另一个节点配置为WSRP消费者。我的WSRP制作人发布了包含在Liferay中的用于货币计算的p
我已经用MassTransit实现了一个简单的发布者/使用者集,我想让使用者从同一个队列中读取消息。但是,当我运行它时,我看到很大一部分消息被发送到错误队列,而不是被消耗。从我看到的讨论(所以,论坛)来看,对于RabbitMQ来说,这应该非常非常简单(只需指向相同的队列),但它并不起作用。是否有应该设置的附加配置? 这是我的出版商 还有我的消费者