Flink如何使用具有多个分区的Kafka主题中的消息，而不会产生扭曲？

Question

假设一个主题有3个kafka分区，我希望我的事件按小时窗口，使用事件时间。

当某个分区位于当前窗口之外时，kafka使用者是否会停止读取该分区？还是打开一个新窗口？如果它正在打开新的窗口，那么，如果一个分区的事件时间与其他分区相比会非常倾斜，那么从理论上讲，它不可能打开无限数量的窗口，从而耗尽内存吗？当我们重播一些历史时，这种情况尤其可能发生。

我一直试图从阅读留档中得到这个答案，但是在分区上找不到太多关于Flink和Kafka的内部结构。非常欢迎关于这个特定主题的一些好的留档。

谢谢

Answer 1

你可以尝试使用这种风格

public void runStartFromLatestOffsets() throws Exception {
        // 50 records written to each of 3 partitions before launching a latest-starting consuming job
        final int parallelism = 3;
        final int recordsInEachPartition = 50;

        // each partition will be written an extra 200 records
        final int extraRecordsInEachPartition = 200;

        // all already existing data in the topic, before the consuming topology has started, should be ignored
        final String topicName = writeSequence("testStartFromLatestOffsetsTopic", recordsInEachPartition, parallelism, 1);

        // the committed offsets should be ignored
        KafkaTestEnvironment.KafkaOffsetHandler kafkaOffsetHandler = kafkaServer.createOffsetHandler();
        kafkaOffsetHandler.setCommittedOffset(topicName, 0, 23);
        kafkaOffsetHandler.setCommittedOffset(topicName, 1, 31);
kafkaOffsetHandler.setCommittedOffset(topicName, 2, 43);

Answer 2

因此，首先，Kafka的所有事件都是不断读取的，进一步的窗口操作对此没有影响。在谈到内存不足时，需要考虑更多的事情。

• 通常您不会为窗口存储每个事件，而只是为事件存储一些聚合
• 每当窗口关闭时，相应的内存就会被释放。

更多关于Kafka消费者如何与EventTime交互的信息（特别是水印，您可以在此处查看