Flink Kafka制片人在发布键控流时引发异常

Question

我在编写从接收器子任务到输出Kafka主题的键控流时遇到了问题。

作业的形式为：source-

异常来自kafka生产者，并导致检查点超时：

>

FlinkKafkaException：未能向Kafka发送数据：自批创建以来，mytopic-11:120000毫秒的16条记录已过期

作业在出现上述异常的情况下进入崩溃循环，偶尔会在再次崩溃循环之前短暂恢复。我认为这里的问题是，我正在使用这些键来确定输出分区，这会导致每个扇出写入N个输出分区的P个sink子任务。理想情况下，每个子任务只能写入单个分区。

作业具有以下约束/属性：

1：一旦一个键被写入输出kafka主题分区，它需要在未来总是被写入同一个kafka分区

2： 接收器子任务并行性最初将等于输出分区的数量

3： 我将来应该能够在不违反#1的情况下增加并行性

4： 我永远不会向输出kafka主题添加新分区

如果并行性==分区，那么我相信FlinkFixedPartitioner将是一个很好的解决方案。但是，我认为它不会尊重原始密钥-

这里有没有一种技术可以用来满足这些约束条件？可能是对Kafka制作人的设置进行了调整，或者是对键控流进行分区的另一种方法，或者是其他什么？

Answer 1

您假设Flink使用的分区逻辑与Kafka使用的分区逻辑相同。完全有可能（我怀疑正在发生的情况），给定4个键A、B、C和D，Flink会将A和B发送到一个接收器实例，而C和D会发送到另一个接收器实例。Kafka可能使用不同的分区逻辑，将A和C发送到一个分区，而B和D写入另一个分区。

Flink似乎不想公开给定密钥的密钥组，但如果接收器的并行度与Kafka分区的数量相同，则应该能够在自定义Kafka分区逻辑中使用接收器实例的task\u id。这有点野蛮，但它应该做你想做的事。

当我进一步思考时，您也可以为Flink编写一个自定义分区器，它使用与Kafka主题的自定义分区器相同的逻辑。这将处理扩展到更多接收器实例的问题。