当我运行这个命令时,我得到2个主题。我知道我创建了测试主题,但我看到了一个名为“__consumer_offsets”的附加主题。从名称来看,它暗示它与消费者补偿有关,但它是如何使用的呢?
$bin/kafka-topics.sh--list--zookeeper localhost:2181__consumer_offsets test
$ bin/kafka-topics.sh --describe --zookeeper localhost:2181
Topic:__consumer_offsets PartitionCount:50 ReplicationFactor:1 Configs:segment.bytes=104857600,cleanup.policy=compact,compression.type=producer
Topic: __consumer_offsets Partition: 0 Leader: 0 Replicas: 0 Isr: 0
Topic: __consumer_offsets Partition: 1 Leader: 0 Replicas: 0 Isr: 0
*
*
*
Topic: __consumer_offsets Partition: 48 Leader: 0 Replicas: 0 Isr: 0
Topic: __consumer_offsets Partition: 49 Leader: 0 Replicas: 0 Isr: 0
这在Kafka 1.1.0中发生,以及为什么有50个分区。也在寻找一种方法来禁用它,因为每次我尝试运行“description”主题时,它首先打印__consumer_offsets的50个分区,然后打印我的主题。
在Kafka的最初版本中,偏移量是由zookeeper管理的,但Kafka随着时间的推移不断发展,引入了许多新功能。现在,Kafka管理内部/系统级主题中的偏移量,即__consumer_offsets。
每当您创建一个主题而没有显式指定分区的数量时,Kafka就会在默认情况下为该主题创建50个分区。主题__consumer_offsets也有同样的含义。
我尝试收听主题,以查看哪个使用者保存了什么值的offsets,但这并不奏效... 我尝试了以下操作: 为控制台使用者创建了配置文件,如下所示: 谢谢! 码头
如何刷新__consumer_offsets主题? 我刚刚设置了offsets.retention.minutes=1,重新启动了代理,检查了offsets.retention.minutes=1的日志,但是__consumer_offsets主题的50个分区的大小仍然相同。 为什么?
我是新的阿帕奇Kafka,并尝试与例子给出。 下面的代码片段用于初始化一个ConsumerConnector,我被topic count参数搞糊涂了;它似乎会导致Kafka为该主题提供相应数量的流。然而,我尝试了几次,只有第一个流产生消息。所以,有两个问题:1。如何确定主题的计数数?2.消息分裂是如何跨越流的? 提前道谢。
[2020-06-01 08:00:27,746]警告[Consumer Clientid=Consumer-Console-Consumer-56224-1,GroupID=Console-Consumer-56224]提取相关id为2的元数据时出错:{Distance2 =Invalid_Topic_Exception}(org.apache.kafka.clients.NetworkClie
当我运行这个命令时,我得到了两个主题。我知道我创建了测试主题,但我看到了另一个名为“消费者偏移”的主题。从名称来看,这意味着它与消费者补偿有关,但它是如何使用的?
我试图使用Java API将发送到,因为从开始,他们建议使用Java API而不是Scala API来获得更好的性能。 http://kafka.apache.org/090/documentation.html#ProducerAPI 我的XML文件有大约,我可以使用什么XML API来读取XML文件并转换为字符串,然后将该字符串发送到Kafka主题。 或者,我可以将XML转换为数据并将其发送给