当前位置: 首页 > 知识库问答 >
问题:

Flink多时隙任务管理器最佳实践

程城
2023-03-14

假设一个正在运行一个设置为并行的集群

  • 使用每个任务槽运行多个TM
  • 使用多个任务槽运行单个/几个TM

我们正在运行版本为1.6.3的Flink群集。Flink 1.7发行说明指出,“Flink现在正确地支持具有多个插槽的TaskManager”。在以前的版本中,是否建议从单个插槽开始?

共有1个答案

谢同化
2023-03-14

对于Flink 1.5和1.6,除了在打开遗留模式的情况下运行(通过模式:遗留),不完全支持分配具有多个插槽的TaskManager,建议设置taskmanager.numberOfTaskSlot: 1。现在名为FLIP-6的运行时重构已经完成,此限制已被取消。

 类似资料:
  • 问题内容: 我想启动许多要在+ -42Mio记录的数据库上运行的任务。我想批量运行5000条记录/时间(结果是850个任务)。我还想将线程数限制为16个,因此Java开始为我执行此操作,并且我正在使用当前代码来完成此任务: 这是正确的方法吗?特别是当我有一种印象,即Java会触发所有任务…(实现) 问题答案: 使用ExecutorService的第一部分看起来不错: 带有Thread的部分不应该在

  • 我让Flink服务器在端口8081上本地运行。我在上面部署了我的flink应用程序的jar,它成功运行。 现在,我需要听取普罗米修斯的Flink指标,为此,我需要将作业管理器和任务管理器配置为普罗米修斯的目标。yml。 那么,我在哪里可以获得相同的端口?

  • 我是flink的新手,我部署了我的flink应用程序,它基本上执行简单的模式匹配。它部署在库伯内特斯集群中,具有1个JM和6个TM。我每10分钟向eventhub主题发送大小4.4k和200k消息并执行负载测试。我添加了重启策略和检查点,如下所示,我没有在代码中显式使用任何状态,因为没有要求 最初,我遇到了网络缓冲区的Netty服务器问题,我遵循了以下链接https://ci.apache.org

  • 行为管理最佳实践 TODO

  • 问题内容: 在Golang中,我们可以将GitHub上的开源库指定为依赖项。例如: 如果我理解正确,这将尝试根据您的Go版本查找分支,默认为master。 因此,无法导入依赖的特定版本,例如: 那么,在Go中管理依赖项的最佳实践是什么? 我可以看到两种方法。 I.版本模块 是否为具有重大变更的主要版本创建新模块? 例如,我的Go库可以定义模块v1和v2,因此您可以执行以下操作: 要么: 根据您的需

  • 每个新创建的任务都是 org.gradle.api.DefaultTask 类型, org.gradle.api.Task 的标准实现,DefaultTask 所有的域都是私有的,意味着他们只能通过 setter 和 getter 方法来访问,庆幸的是Groovy提供了一些语法糖来允许你通过名字来使用域。 管理项目的版本 许多公司或者开源组织有他们自己的发布版本的措施,一般用主版本号和次版本号来表