很少有kafka分区没有分配给任何flink使用者
我有一个带有15个分区的kafka主题[0-14]，我正在运行带有5个并行的flink。因此，理想情况下，每个并行flink使用者应该分别使用3个分区。但即使在多次重启之后，很少有Kafka分区不被任何flink工人订阅。
org.apache.kafka.clients.consumer.KafkaConsumer assign Subscribed to partition(s): topic_name-13, topic_name-8, topic_name-9
org.apache.kafka.clients.consumer.KafkaConsumer assign Subscribed to partition(s): topic_name-11, topic_name-12, topic_name-13
org.apache.kafka.clients.consumer.KafkaConsumer assign Subscribed to partition(s): topic_name-14, topic_name-0, topic_name-10
org.apache.kafka.clients.consumer.KafkaConsumer assign Subscribed to partition(s): topic_name-5, topic_name-6, topic_name-10
org.apache.kafka.clients.consumer.KafkaConsumer assign Subscribed to partition(s): topic_name-2, topic_name-3, topic_name-7
注意：如果我以1个并行度开始作业，则作业工作非常好。
Flink版本:1.3.3
共有1个答案
这听起来像https://issues.apache.org/jira/browse/flink-7143。
通过阅读Jira票证和pull请求(https://github.com/apache/Flink/pull/4301)中的详细信息，听起来，如果您使用的是Flink1.3.x，那么只有重新启动时才能从这个错误修复中受益。从保存点重新启动并不足以从修复中获益。
-
我使用flink和Kafka创建了一个流媒体程序，用于流媒体mongodb oplog。根据与Flink支持团队的讨论，流的顺序不能通过kafka分区来保证。我已经创建了N个kafka分区，并希望每个分区创建N个flink kafka消费者，所以流的顺序应该至少在特定的分区中保持。请建议我是否可以创建分区特定的flink kafka消费者？ 我正在使用env.setParallelism(N)进行
-
我刚刚注意到，当我在分区中生成单个消息时，我的使用者不会收到它。只有在我在同一分区中生成了更多的消息之后，使用者才会收到它们。我的数设置为 1。 是否有其他一些配置可能会影响这里？ 每个分区都有一个专用的消费者。 相关部件的使用者代码。我的使用者为 定义的不同主题启动多个线程。使用 https://github.com/mmustala/rdkafka-ruby 这是原始消费宝石的叉子。我添加了一
-
我有10个消费者和10个分区。我取分区数 并且使用相同的group.id创建相同数量的消费者。 我也发现很少这样的日志->
-
多台机器生成事件。这些事件被发送到我们的Kafka集群，其中每台机器都有自己的主题（app.machine-events.machine-name）。因为顺序在每台机器的基础上很重要，而分区大小现在不是问题，所以所有主题都由一个分区组成。因此，目前，N个主题也意味着N个分区。 消费/处理应用程序使用了kafka-streams，我们给出了/“machine-event-processor”，它对每
-
我使用的是Kafka流，具有无状态的简单处理器拓扑结构。 我有一个主题，有100个分区，有2台机器，每台机器有50个线程，运行同一个流媒体应用程序，因此最终我将在它们之间进行1-1映射。 主题中的消息已是键控消息。 我有一个逻辑约束，一旦线程连接到一个或多个分区，它应该继续处理这些分区（当然，直到重新启动发生，它会重新洗牌） 我从日志中看到线程反复（重新）加入消费者组。 我的问题，kafka 流
-
假设我正在从S3文件夹中读取100个文件。每个文件的大小为10 MB。当我执行＜code＞df＝spark.read时。parquet（s3路径），文件（或更确切地说分区）如何在任务之间分布？E、 g.在这种情况下，＜code＞df＜/code＞将有100个分区，如果spark有10个任务正在运行以将该文件夹的内容读取到数据帧中，那么这些分区是如何分配给这10个任务的？它是以循环方式进行的，还是每