Logstash kafka输入插件无法读取新消费者的任何消息，并且无法将auto_offset_reset设置为earliest

Question

我正在使用Logstash Kafka输入插件从一个主题中读取消息。我以前能够启动新的消费者——属于新的消费者组，并且通过设置auto_offset_reset=earliest能够从主题的开始消费消息。

插件配置：

input {     
    kafka {         
    bootstrap_servers => "localhost:9092"
        topics => ["test_topic"]
        group_id => "new_consumer"
        client_id => "new_consumer"
        consumer_threads => 1
        auto_offset_reset => "earliest"   
  } 
}

但是现在我注意到一个奇怪的行为。尽管这是属于新使用者组的新使用者，并且auto_offset_reset设置为“最早”，但我无法使用任何消息。

启用的调试日志遵循以下行为：它清楚地表明使用者没有以前的偏移量，突然提取分区偏移量，使用者使用它并设置其新偏移量（请注意：之前从主题中读取了36387条消息，因此在下面的日志中读取了数字）

[2016-12-22T16:45:13，454][INFO][org . Apache . Kafka . clients . consumer . internals . abstract coordinator]成功加入第1代新消费者群

[2016-12-22T16:45:13，455][INFO][org . Apache . Kafka . clients . consumer . internals . consumer coordinator]为组new_consumer设置新分配的分区[test_topic-0]

[2016-12-22T16:45:13,456][DEBUG][org.apache.kafka.clients.consumer.internals.ConsumerCoordinator]组new_consumer获取分区的已提交偏移量：[test_topic-0]

[2016-12-22T16:45:13，544][DEBUG][org . Apache . Kafka . clients . consumer . internals . consumer coordinator]Group new _ consumer没有分区测试_topic-0的提交偏移量

[2016-12-22T16:45:13,544][调试][org.apache.kafka.clients.consumer.internals.Fetcher]将分区的偏移量test_topic-0重置为最早的偏移量。

[2016-12-22T16:45:13,546][DEBUG][org.apache.kafka.clients.NetworkClient]在localhost:9092启动与节点0的连接。

[2016-12-22T16:45:13，657][调试][log stash . instrument . Collector]收集器:向观察者发送快照{:created_at=

[2016-12-22T16:45:13741][DEBUG][org.apache.kafka.common.metrics.metrics]添加了名为node-0.bytes-sent的传感器

[2016-12-22T16：45：13，741][调试][组织.apache.kafka.common.metrics.Metrics. 添加了名称为 node-0.bytes-的传感器

[2016-12-22T16:45:13，741][DEBUG][org . Apache . Kafka . common . metrics . metrics]添加了名为node-0.latency的传感器

[2016-12-22T16:45:13,742][调试][org.apache.kafka.clients.NetworkClient]节点0连接完成

[2016-12-22T16:45:13，901][DEBUG][org . Apache . Kafka . clients . consumer . internals . fetcher]获取了分区test_topic-0的偏移量36387

[2016-12-22T16:45:18050][DEBUG][org.apache.kafka.clients.consumer.internals.ConsumerCoordinator]组newconsumer为分区test_topic-0提交的偏移量36387

[2016-12-22T16:45:18,563][DEBUG][org.apache.kafka.clients.consumer.internals.ConsumerCoordinator]组new消费者提交的分区偏移36387test_topic-0

有人能告诉我为什么我们会看到这种行为吗？

Answer 1

旧消息是否已根据配置的保留期被删除？可能偏移量36387是最早的偏移量，所有较早的消息都已过期。默认保留期为7天。