如何强制condor向集群中的所有节点提交作业？
但是如果我想强迫condor使用所有的节点呢？只是为了评估在多个节点上运行时与在单个节点上运行时的进程时间？
我尝试在提交文件中添加requirements=Machine==“hostname1”&&Machine==“hostname2”，但不起作用。
共有1个答案
恐怕我没有完全理解你的要求。看看我能不能帮上忙。我可以看到几个场景：
- Condor只调度作业在主节点上运行，而不管有多少机器可用。
- Condor正在所有可用机器上调度作业。但是，您要做的是获得一个特定的工作，以便使用多台机器。
在案例1中。您的提交文件或池设置都有可疑之处。我将假设condor_status返回多台机器，并且池设置正常。这种情况下的典型问题是：如果您没有为您的作业指定需求，Condor将为您插入一个。默认情况下，Condor将请求作业在具有相同OS和提交节点体系结构的机器上运行。这个确实用异构池咬了我几次；-）
-
我有几千个作业要在一个有16个节点的SLURM集群上运行。这些作业应该只在大小为7的可用节点的子集上运行。一些任务是并行化的，因此使用单个节点的所有CPU能力，而其他任务是单线程的。因此，多个作业应该在单个节点上同时运行。任何任务都不应该在多个节点上产生。 强制slurm在指定节点上同时运行多个作业的的最佳参数是什么？
-
在ResourceManager节点上启动flink作业（查找配置文件） 从ResourceManager下载配置文件到本地。 我想，这两种方式都不太好。如何将作业提交到远程纱线集群。有没有合适的办法？
-
我计划部署Kafka集群。我有以下查询： 1)为了保护生产者和消费者与Kafka broker的通信，可以使用SSL。如果我有一个由9个代理和3个zookeeper节点组成的集群，并且如果我不想使用自签名证书，我是否必须为每个节点购买一个证书(9个3证书，成本太高)？ 正如我所读到的，生产者/消费者直接联系其中一个经纪人节点，而不联系动物园管理员。 谢谢， 病毒的
-
我正在使用EMR 5.30.0，并尝试使用以下命令提交Flink(1.10.0)作业 想知道是否每个提交的作业都试图创建一个Flink Yarn会话，而不是使用现有的会话。 谢谢Sateesh
-
我们的团队在我们的K8S集群中设置了Flink会话集群。我们选择Flink会话集群而不是作业集群，因为我们有许多不同的Flink作业，因此我们希望将Flink的开发和部署与我们的作业分离。我们的Flink设置包含： 单个JobManager作为K8S吊舱，无高可用性（HA）设置 我们在一个单独的存储库中开发工作，并在代码合并时部署到Flink集群。 现在，我们注意到在K8S中作为pod的JobMa
-
我有一个安装了spark的docker容器，我正试图使用马拉松将作业提交给其他集群上的yarn。docker容器有yarn和hadoop conf dir的导出值，yarn文件还包含正确的emr主ip地址，但我不确定它从哪里作为本地主机？ 错误：