Kafka的主题“__consumer_offsets”是什么
当我运行这个命令时，我得到2个主题。我知道我创建了测试主题，但我看到了一个名为“__consumer_offsets”的附加主题。从名称来看，它暗示它与消费者补偿有关，但它是如何使用的呢？
$bin/kafka-topics.sh--list--zookeeper localhost:2181__consumer_offsets test
$ bin/kafka-topics.sh --describe --zookeeper localhost:2181
Topic:__consumer_offsets PartitionCount:50 ReplicationFactor:1 Configs:segment.bytes=104857600,cleanup.policy=compact,compression.type=producer
Topic: __consumer_offsets Partition: 0 Leader: 0 Replicas: 0 Isr: 0
Topic: __consumer_offsets Partition: 1 Leader: 0 Replicas: 0 Isr: 0
*
*
*
Topic: __consumer_offsets Partition: 48 Leader: 0 Replicas: 0 Isr: 0
Topic: __consumer_offsets Partition: 49 Leader: 0 Replicas: 0 Isr: 0
这在Kafka 1.1.0中发生，以及为什么有50个分区。也在寻找一种方法来禁用它，因为每次我尝试运行“description”主题时，它首先打印__consumer_offsets的50个分区，然后打印我的主题。
共有1个答案
在Kafka的最初版本中，偏移量是由zookeeper管理的，但Kafka随着时间的推移不断发展，引入了许多新功能。现在，Kafka管理内部/系统级主题中的偏移量，即__consumer_offsets。
每当您创建一个主题而没有显式指定分区的数量时，Kafka就会在默认情况下为该主题创建50个分区。主题__consumer_offsets也有同样的含义。
-
我尝试收听主题，以查看哪个使用者保存了什么值的offsets，但这并不奏效... 我尝试了以下操作： 为控制台使用者创建了配置文件,如下所示： 谢谢！ 码头
-
如何刷新__consumer_offsets主题？ 我刚刚设置了offsets.retention.minutes=1，重新启动了代理，检查了offsets.retention.minutes=1的日志，但是__consumer_offsets主题的50个分区的大小仍然相同。 为什么？
-
我是新的阿帕奇Kafka，并尝试与例子给出。 下面的代码片段用于初始化一个ConsumerConnector，我被topic count参数搞糊涂了；它似乎会导致Kafka为该主题提供相应数量的流。然而，我尝试了几次，只有第一个流产生消息。所以，有两个问题：1。如何确定主题的计数数？2.消息分裂是如何跨越流的？ 提前道谢。
-
当我运行这个命令时，我得到了两个主题。我知道我创建了测试主题，但我看到了另一个名为“消费者偏移”的主题。从名称来看，这意味着它与消费者补偿有关，但它是如何使用的？
-
[2020-06-01 08:00:27,746]警告[Consumer Clientid=Consumer-Console-Consumer-56224-1,GroupID=Console-Consumer-56224]提取相关id为2的元数据时出错：{Distance2 =Invalid_Topic_Exception}（org.apache.kafka.clients.NetworkClie
-
我试图使用Java API将发送到，因为从开始，他们建议使用Java API而不是Scala API来获得更好的性能。 http://kafka.apache.org/090/documentation.html#ProducerAPI 我的XML文件有大约，我可以使用什么XML API来读取XML文件并转换为字符串，然后将该字符串发送到Kafka主题。 或者，我可以将XML转换为数据并将其发送给