Flink 1.3在YARN上运行单个作业如何设置每个TaskManager的任务槽数
我在这里描述的纱线上运行一个flink作业。
flink run -m yarn-cluster -yn 3 -ytm 12000
我可以使用上述参数-yn设置纱线节点/任务管理器的数量。但是我想知道是否可以设置每个任务管理器的任务槽数。当我使用并行（-p）参数时，它只设置整体并行度。任务槽的数量是通过将此值除以提供的任务管理器的数量来计算的。我尝试使用动态属性（-yD）参数，该参数应该“允许用户指定额外的配置值”，如下所示：
-yD -Dtaskmanager.numberOfTaskSlots=8
但这不会覆盖flink-conf.yaml中给出的值。在flink上运行单个任务时，是否有任何方法可以指定每个TaskManager的任务槽数（除了更改配置文件）？是否还留档使用-yD参数哪些动态属性有效？
共有1个答案
您可以在这里使用带有y前缀的yarn-会话设置在YARN集群上提交Flink作业。例如命令，
flink run -m yarn-cluster -yn 5 -yjm 768 -ytm 1400 -ys 2 -yqu streamQ my_program.jar
将提交my\u程序。jar应用程序具有5个容器、768m内存（用于jobmanager）、1400m内存（用于TaskManager）和cpu核心（用于TaskManager），每一个都将使用预定义纱线队列上节点管理器的资源。有关其他重要信息，请参阅我对此帖子的回答。
-
默认情况下，所有设置都是。如何启用同时运行的多个作业？
-
我有一个系统，其中REST API（Flask）使用spark-sumbit向正在运行的PySpark发送作业。 出于各种原因，我需要spark同时运行所有任务（即我需要设置执行器的数量=运行时的任务数量）。 这可能通过一项工作来实现吗？
-
我们有一个项目，其中我们有几个Jenkins作业：一种类型的作业运行交付（a）， 一个只进行编译和单元测试的程序（B） 和 运行集成测试、静态代码分析等（C）的人。 我们在四个 Jenkins 节点（主节点三个从节点）上运行，我们的作业是声明性管道作业的混合，并在 Jenkins 作业中手动单击。 我们一次只想为每个节点运行一个集成测试构建。然而，我们希望运行尽可能多的交付（A）和代码质量（B）构
-
我是这方面的新手。我希望这个代码做的是：每当用户点击项目（例如：like或dislike）时，我希望我的firebase发生一些事情（例如，将like的值设置为1）。我正在努力为每个项目（喜欢，不喜欢，快乐，报告）设置一个点击监听器，但我不知道怎么做。即使我在静态类内部设置了click侦听器，也不能调用我的数据库引用。我还尝试了commentsactivity.this.mreviewsdatab
-
然后再次运行，但它也转到GPU0。 我看了相关的问题，如何选择指定的GPU来运行CUDA程序？但是命令不在CUDA 8.0 bin目录中。除了之外，我还看到其他文章引用了环境变量但这些都没有设置，我也没有找到关于如何使用它的信息。 虽然与我的问题没有直接关系，但使用我能够使应用程序在GPU1上运行，但使用不能在GPU0和1上运行。 我正在一个使用bash shell运行的系统上测试这一点，该系统在
-
问题内容： 我每天如何每六个小时运行一次命令？试过这不起作用： 问题答案： 您忘记了，并且您有太多字段，这是您需要关心的时刻 这意味着每6小时从0开始，即在0、6、12和18小时，您可以将其写为