Flink作业集群与会话集群-部署和配置
我正在研究Flink 1.9.1的docker/k8s部署可能性。
我看完了[1][2][3][4]。
目前，我们确实认为，我们将尝试采用工作集群方法，尽管我们想知道社区的这一趋势是什么？我们不希望每个Flink集群部署多个作业。
不管怎样，我想知道一些事情：
>
在这两种情况下，Flink的UI都显示每个任务管理器有4个CPU。
如果使用作业群集，如何重新提交作业。我指的是这个用例。你可能会说我必须重新开始工作，但有不同的理由。这是什么程序？顺便说一句，我正在使用检查站。
我应该杀死所有任务管理器容器并使用不同的参数重新运行它们吗？
如何使用会话群集重新提交作业？
如何为作业/会话集群提供日志配置？我有一个案例，我在log4j.properties中更改了日志级别和日志格式，这在本地（IDE）环境中运行良好。但是，当我构建胖jar并基于此jar运行作业集群时，它会发现我的log4j属性没有传递给集群。我看到原始格式和原始（INFO）级别。
谢谢
[1]https://youtu.be/w721NI-mtAA
[2]https://youtu.be/WeHuTRwicSw
[3]https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/docker.html
[4]https://github.com/apache/flink/blob/release-1.9/flink-container/docker/README.md
[5]http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Flink-Job-claster-scalability-td32027.html
共有1个答案
目前，我们确实认为，我们将尝试采用工作集群方法，尽管我们想知道社区的这一趋势是什么？我们不希望每个Flink集群部署多个作业。
这个问题可能更适合用户邮件列表。
如何更改作业和会话群集的每个任务管理器的任务插槽数？
您可以通过配置选项taskmanager对此进行控制。TaskSlots数量
如何使用会话群集重新提交作业？
这里描述了这一点。底线是您创建一个保存点并从中恢复您的作业。也可以从保留的检查点恢复作业。
如果使用作业群集，如何重新提交作业。
从概念上讲，这与从会话集群中的保存点恢复作业没有什么不同。您可以将保存点的路径指定为集群入口点的命令行参数。详细信息在这里描述。
如何为作业/会话群集提供日志配置？
如果您使用Flink二进制发行版的bin/目录中的脚本来启动集群（例如，bin/start-cluster.sh、bin/jobmanager.sh、bin/taskmanager.sh等），您可以通过调整conf/log4j.properties来更改log4j配置。日志配置作为系统变量传递给JobManager和TaskManager JVM（请参阅bin/flink-daemon.sh）。另请参阅Flink留档中的“如何使用日志记录”一章。
-
一、部署模式 Flink 支持使用多种部署模式来满足不同规模应用的需求，常见的有单机模式，Standalone Cluster 模式，同时 Flink 也支持部署在其他第三方平台上，如 YARN，Mesos，Docker，Kubernetes 等。以下主要介绍其单机模式和 Standalone Cluster 模式的部署。 二、单机模式 单机模式是一种开箱即用的模式，可以在单台服务器上运行，适用于
-
我们的团队在我们的K8S集群中设置了Flink会话集群。我们选择Flink会话集群而不是作业集群，因为我们有许多不同的Flink作业，因此我们希望将Flink的开发和部署与我们的作业分离。我们的Flink设置包含： 单个JobManager作为K8S吊舱，无高可用性（HA）设置 我们在一个单独的存储库中开发工作，并在代码合并时部署到Flink集群。 现在，我们注意到在K8S中作为pod的JobMa
-
主版本和次版本升级 Seafile 在主版本和次版本中添加了新功能。有可能需要修改一些数据库表，或者需要更新搜素索引。一般来说升级集群包含以下步骤： 更新数据库 更新前端和后端节点上的符号链接以指向最新版本。 更新每个几点上的配置文件。 更新后端节点上的搜索索引。 一般来说，升级集群，您需要： 在一个前端节点上运行升级脚本(例如：./upgrade/upgrade_4_0_4_1.sh) 在其他所
-
按照Seafile 集群文档中给出的推荐架构，Seafile 集群需要使用一个分布式、高可用的数据库和缓存集群。在本文档中，我们给出一个在 3 台服务器上部署 MariaDB 和 Memcached 集群的案例。 硬件和操作系统需求 最少使用3台服务器部署来集群，每台机器都应该有： 2核、4GB内存。 1个SATA磁盘用来存储操作系统。 1个SATA磁盘用来存储MariaDB数据。也可以把 Mar
-
Kubernetes 集群架构 etcd 集群 从 https://discovery.etcd.io/new?size=3 获取 token 后，把 https://kubernetes.io/docs/admin/high-availability/etcd.yaml 放到每台机器的 /etc/kubernetes/manifests/etcd.yaml，并替换掉 ${DISCOVERY_TO
-
我需要一种跨不同dropwizard web服务共享会话的方法。在Jetty中，有一种方法可以做到这一点，即使用JDBCSessionManager和jdbcssessionmanager(http://wiki.eclipse.org/Jetty/Tutorial/Session_Clustering). 问题是dropwizard（0.7.1）没有公开所需org.eclipse.jetty.s