Apache Flink上的自定义Kafka源代码

Question

我有一个项目，我需要订阅与数据库中注册的任务相关的特定主题。每个任务都与一个主题相关，可以执行任务元数据中描述的特定转换。任务可以由其他系统注册、更新或禁用，flink作业必须反映这些更改，而无需重新启动作业。

基于此，我尝试了类似的方法https://flink.apache.org/news/2020/03/24/demo-fraud-detection-2.html其中我有两个源函数，一个以间隔方式获取数据库中的任务，另一个使用模式和自定义反序列化器订阅主题（以获取主题名称）。

然后，协处理函数负责将来自任务源和Kafka源的数据连接起来，保存与每个主题相关的任务列表（每次任务源从数据库获取数据时，该列表都会刷新）。然后应用转换并将转换后的数据保存在特定系统上。

我对这种设计的问题是，我只能有一个消费者组id，所以如果我没有与某个名为“foo”的主题相关的任务，来自“foo”的数据将不断出现，偏移量将被更新。如果将来我注册一个任务来使用“foo”做一些事情，该任务将不会处理主题中的历史数据。

我能否实现一个自定义Kafka，它扩展FlinkKafkaConsumer以从数据库中获取这些任务，然后启动一个消费程序来消费这些任务与任务本身提供的消费者组id相关的主题？

任务需要每N分钟刷新一次，以获得外部系统提供的任务列表的更改。

我也愿意接受其他想法的建议。

Answer 1

对我来说，听起来你所有的工作都是完全独立的。您希望每个作业都使用自己的数据（使用Kafka消费群体），以便同一Kafka主题上的三个作业也会收到三次数据。您可能还希望，如果某些作业速度较慢，其他作业不会在处理过程中受阻。

因此，我的建议是：启动一个flink会话，但在其中独立地部署您的工作。您需要构建一种部署组件/脚本，从任务源接收任务并启动或停止作业。

每个作业都可以配置为具有专用的Kafka消费者组id，并且可以配置为在检查点提交到该组。下次重新启动时，您可以从状态（作业上次停止的位置，例如从保存点）开始，也可以不提供检查点/保存点，并告诉它从提交的组id偏移开始。