Kafka——消费者阅读流的一半

Question

我使用以下代码来读取主题的数据，即“sha-test2”，但它正在读取完全替代的代码行，即 10 行中的 20 行。但是当我运行控制台时，它显示所有 20 行。即.bin/kafka-console-consumer.sh --zookeeper 本地主机：2181 --主题 sha-test2 --从头

我做错了什么？非常感谢您的帮助。

public class KafkaTestConsumer extends  Thread {
    //final static String clientId = "SimpleConsumerDemoClient";
    final static String TOPIC = "sha-test2";
    ConsumerConnector consumerConnector;

    public static void main(String[] argv) throws   
     UnsupportedEncodingException {
        KafkaTestConsumer helloKafkaConsumer = new KafkaTestConsumer();
        helloKafkaConsumer.start();
    }
    public KafkaTestConsumer(){
        Properties properties = new Properties();
        properties.put("zookeeper.connect","172.23.32.35:2181");
        properties.put("group.id","test-group");
        ConsumerConfig consumerConfig = new ConsumerConfig(properties);
        consumerConnector = 
         Consumer.createJavaConsumerConnector(consumerConfig);
    }


    @Override
    public void run() {
        Map<String, Integer> topicCountMap = new HashMap<String, Integer>();
        topicCountMap.put(TOPIC, new Integer(1));
        Map<String, List<KafkaStream<byte[], byte[]>>> consumerMap =  
         consumerConnector.createMessageStreams(topicCountMap);
        KafkaStream<byte[], byte[]> stream =  consumerMap.get(TOPIC).get(0);
        System.out.println("consumerMap : \n " + consumerMap.toString() );
        ConsumerIterator<byte[], byte[]> it = stream.iterator();

       System.out.println("run started");
        while(it.hasNext()){
            System.out.println(new String(it.next().message()));
        }
}

Thank you.
~Shyam

Answer 1

你的代码看起来非常好。这看起来像一个偏移问题。高级消费者将其偏移量存储在动物园管理员中。

在您的案例中，可能会发生以下情况：-1。您在kafka中放入了10条消息2。您运行了消费者代码，它成功地读取了所有10条消息。此外，消费者在zookeeper中将消耗的偏移量更新为10。3.你阻止了你的消费者。4.你又向kafka发送了10条消息5.你再次启动消费者代码。它只读取最后10条消息，而不是之前推送的10条消息。因为当您重新启动消费者时，它会检查动物园管理员，以找出恢复消费的偏移量。

尝试使用不同的组 ID 重新运行您的使用者，或者尝试在从 zookeeper 中删除偏移量后尝试。它应该可以正常工作。

 properties.put("group.id","test-group420");

Answer 2

问题就在这一行：

topicCountMap.put(TOPIC, new Integer(1));

您告诉< code>consumerConnector为您的主题创建一个消费者线程，但是该主题(显然)有两个分区。< code >“test-group”组中消费者线程的数量应该等于或大于分区的数量，否则一些分区将不会被该组读取，这正是您的情况。

请看一下这个例子，其中的线程数是通过命令行参数设置的。

或者，您可以在/brokers/topic/your_topic_name/partitions节点下从Zookeeper中读取存储元数据的分区的确切数量。