当前位置: 首页 > 知识库问答 >
问题:

如何从Flink应用程序部署的会话模式切换到作业模式?

鞠子轩
2023-03-14

是否有一本食谱,精确描述了在什么配置文件(作业管理器配置/flink-conf.yaml、任务管理器配置/flink-conf.yaml、作业管理器配置/zoo.cfg中应该更改什么,以便将Flink应用程序部署从会话模式更改为作业模式

此外,我们通过交付给我们的anable角色在openshift上设置了flink集群,但不幸的是,它不是从anable galaxy存储库中获取的,因此我无法向您引用任何已发布的设置。可能,大多数配置更改都必须在那里完成,除了提到的配置flink文件之外。

我不明白的是,如何控制提交新作业会自动为每个作业生成一对新的作业管理器和一个任务管理器(1 1)实例,而不是仅使用一个作业管理器中的可用任务槽和预定义数量的任务管理器?我们目前有一个作业管理器和两个任务管理器,每个都有10个任务槽(taskmanager.numberOfTaskSlots:taskmanager config/flink-conf.yaml中的10行),总共20个任务槽。

共有1个答案

焦同
2023-03-14

你说得对,你的问题真的超出了Flink的范围。手动设置会话集群很容易,但如果您想为每个作业创建一个新集群,则需要一些自动化。

管理Flink有多种解决方案。您可能想调查像Ververica平台或flinkk8soperator这样的东西是否能满足您的需求。

 类似资料:
  • 我正在尝试修复内存不足的问题,我想知道是否需要更改spark home文件夹中默认配置文件(

  • 在独立kubernetes模式(会话集群)中部署flink后,我无法使用flink GUI上载任何新作业。单击添加新按钮并选择jar文件后,进度带结束,什么也没有发生。作业管理器日志中没有关于此的信息/错误。当我尝试上载任何文件(如文本文件)时,我收到一个错误,日志中有一个信息: 我还尝试上传假的jar(一个名为.jar的空文件),它可以工作——我可以上传这种文件。 我有一个全新的、干净的Apac

  • 在我的主要活动中,我附加了两个片段并使用tablayout。每当我把光变暗或者把暗变亮,我都会得到这个错误,在这里输入图像描述 错误显示在super的onCreate()中。onCreate(savedInstanceState)main活动。

  • 我只是将Flink从1.10版升级到1.11版。在1.11中,Flink提供了新的特性,用户可以在Kubernetes上以应用程序模式部署作业。https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/deployment/kubernetes.html#deploy-session-cluster 在V1.10中,我们启动F

  • 我正在研究Flink 1.9.1的docker/k8s部署可能性。 我看完了[1][2][3][4]。 目前,我们确实认为,我们将尝试采用工作集群方法,尽管我们想知道社区的这一趋势是什么?我们不希望每个Flink集群部署多个作业。 不管怎样,我想知道一些事情: > 在这两种情况下,Flink的UI都显示每个任务管理器有4个CPU。 如果使用作业群集,如何重新提交作业。我指的是这个用例。你可能会说我

  • 问题内容: 我有2个Google App Engine帐户。一种是个人帐户。另一个是工作帐户。 将应用程序部署到Google App Engine。第一次,我使用“ goapp deploy”,它要求我提供电子邮件和密码。现在我被卡住了。我无法切换到其他帐户。 我试图重新启动Mac,但无法正常工作。我应该怎么做才能使用另一个帐户进行部署? 问题答案: 您是否尝试过在命令行中使用 --email 选