本文向大家介绍消费者API的作用是什么?相关面试题,主要包含被问及消费者API的作用是什么?时的应答技巧和注意事项,需要的朋友参考一下 答:允许应用程序订阅一个或多个主题并处理生成给它们的记录流的API,我们称之为消费者API。
本文向大家介绍kafka相关概念与消费模型相关面试题,主要包含被问及kafka相关概念与消费模型时的应答技巧和注意事项,需要的朋友参考一下 broker:kafka集群中的一个节点 topic:主题是kafka的逻辑上的队列 partition:一个topic可以包含一个或多个partition,每个partition的消息数据都是单独存储的,offset也是单独维护的,partition内部消息
试图理解Kafka中的消费者群体行为。示例4分区可用。在消费者方面,消费者群体控制着4个消费者。在这种情况下,在消费者组中的4个消费者中,只有一个消费者始终收到消息。其他人总是无所事事。可能的原因是什么? 是否所有分区都保存相同的消息?或者所有分区都有相同的消息?或者我们可以认为分区不是均匀分布的吗?
我已经和ApacheCamel合作了一段时间,做了一些基本的工作,但现在我正在尝试创建一个路由,在该路由中,我可以让多个“消费者”访问同一条路由,或者在路由中添加一个消费者,然后处理消息。 我的想法是拥有一个由事件触发的事件驱动消费者,然后例如从ftp读取文件。我正计划做这样的事情: 所以这个想法是我有一个事件(例如直接或来自消息队列),它具有“fileName”属性,然后使用该属性从ftp下载/
我使用以下代码来读取主题的数据,即“sha-test2”,但它正在读取完全替代的代码行,即 10 行中的 20 行。但是当我运行控制台时,它显示所有 20 行。即.bin/kafka-console-consumer.sh --zookeeper 本地主机:2181 --主题 sha-test2 --从头 我做错了什么?非常感谢您的帮助。
我们的生产遭遇一个Kafka事件的消费现象。总事件量为34亿个事件,有40个分区。且事件消息几乎均匀地分布在每个分区上,每个分区有8000万个事件。 我们分配了 40 个消费者流和 40 个线程(顺便说一句,我们使用 kafka 客户端 0.8.2)。 在消耗期间,在前4小时,每个分区的延迟不断下降。在最后一个小时,2/3的消费者流已经完成事件消耗。只有不到10个消费者流继续接收剩余事件。对于相关
我知道kafka将一个主题的数据安排在许多分区上,一个消费者组中的消费者被分配到不同的分区,从那里他们可以接收数据: 我的问题是: 术语,它们是由主机/IP标识的,还是由客户端连接标识的? 换句话说,如果我启动两个线程或进程,使用相同的消费者组运行相同的Kafka客户端代码,它们被认为是一个消费者还是两个消费者?
关于破坏者,我有以下问题: 消费者(事件处理器)没有实现他们实现EventHandler的任何可调用或可运行接口,那么他们如何能够并行运行,因此,例如,我有一个disruptor实现,其中有这样一个菱形模式 其中c1到c3可以在p1之后并联工作,C4和C5在p1之后工作。 所以通常我会有这样的东西(P1和C1-C5是可运行/可调用的) 但是在Disruptor的情况下,我的事件处理程序都没有实现R
我使用的是高级消费者,如所述:https://cwiki.apache.org/confluence/display/KAFKA/Consumer组示例 我注意到,我的消费者不会永远运行,而是在一段时间后结束。在zookeeper一侧,我看到以下内容: INFO已处理的会话终止的setsionid: 0x144a4854325004d(org.apache.zookeeper.server.准备请
我的消费者配置有kafka批处理侦听器配置和@KafkaListener消耗消息列表。我有一个消费者拦截器,我想为每条记录设置唯一ID,并将其值存储在映射诊断上下文(MDC)中。如果我的kafka侦听器消耗单个消息,则唯一ID是正确的。但是我的kafka侦听器消耗消息列表,因此MDC. get(“id”)只获取最后一个值。如何处理它?我的拦截器;
我在同一个消费者组上启动了两个消费者,我订阅了20个主题(每个主题只有一个分区) 仅在消费者上使用: kafka消费者组--引导服务器XXXXX:9092--组foo--描述--成员--详细 我做错了什么?
我已经读过一些关于动画片和多个消费者的问题,但我仍然不明白它是如何工作的。 我的用例:我有一个只有一个分片的运动流。我想使用不同的lambda函数使用这个分片,每个函数都独立。就像每个lambda函数都有自己的分片迭代器一样。 有可能吗?是否设置多个lambda使用者(基于流)从同一流/碎片读取?
但是,consumer只从主题中第一个未提交的消息开始轮询。我希望总是从偏移量0开始,不管提交的消息是什么。使用Alpakka消费者,如何手动指定偏移量?
我目前正在开发Kafka模块,我正在使用Kafka通信的抽象。我能够集成生产者 Spring Boot测试类 监听器类 我的问题是:在测试类中,我断言分区、有效负载等是从BlockingQueue轮询的,然而,我的问题是如何验证用KafkaListener注释的类中的业务逻辑是否得到正确执行,并根据错误处理和其他业务场景将消息路由到不同的主题。在一些示例中,我看到了CountDownLatch的断
我在上添加了自定义费用: 但一旦用户点击结帐,费用就被删除,而不是计入总数。 我已通过执行以下检查来验证在调用