Kubernetes中的Flink会话集群和作业提交

Question

我们的团队在我们的K8S集群中设置了Flink会话集群。我们选择Flink会话集群而不是作业集群，因为我们有许多不同的Flink作业，因此我们希望将Flink的开发和部署与我们的作业分离。我们的Flink设置包含：

• 单个JobManager作为K8S吊舱，无高可用性（HA）设置

我们在一个单独的存储库中开发工作，并在代码合并时部署到Flink集群。

现在，我们注意到在K8S中作为pod的JobManager可以在K8S中随时重新部署。因此，一旦重新部署，它就会失去所有工作。为了解决这个问题，我们开发了一个脚本，可以持续监视Flink中的作业，如果作业没有运行，该脚本会将作业重新提交到集群。由于脚本可能需要一些时间才能发现并重新提交作业，因此经常会有一个小的服务中断，我们正在考虑是否可以改进。

到目前为止，我们有一些想法或问题：

>

一种可能的解决方案是：当JobManager（重新）部署时，它将获取最新的作业jar并运行作业。这个解决方案总体上看起来不错。尽管如此，由于我们的作业是在单独的存储库中开发的，因此我们需要一个集群解决方案来在作业发生更改时通知最新的作业，或者JobManager继续轮询最新的作业jar，或者作业存储库部署最新的作业jar。

我看到Flink HA功能可以存储检查点/保存点，但不确定Flink HA是否已经可以处理此重新部署问题？

有人对此有何评论或建议吗？谢谢

Answer 1

是的，Flink HA将解决您关心的JobManager故障切换问题。新的作业管理器将从HA存储中获取关于正在（应该）运行的作业、它们的JAR、检查点状态等的信息。

另请注意，Flink 1.10包含对库伯内特斯会话集群的本机支持的beta版本。请参阅文档。