如何使用slurm使用worker/master概念在不同的节点上运行不同的独立并行作业？

Question

我有一个使用master/salve概念进行并行化的程序。有一个主目录和多个辅助目录。我应该首先在主目录中运行执行文件，然后转到工作目录并在每个目录中运行工作执行文件。主控器等待工人完成他们的工作，并将结果发送给主控器以进行进一步的计算。工作目录的作业是相互独立的，因此它们可以在不同的机器（节点）上运行。主程序和工作程序使用TCP/IP communications Protoco相互通信。
我在一个有16个节点的集群上工作，每个节点有28个内核，带有slurm job Manager。我可以运行我的工作与20个工人在一个节点上总共罚款。目前，我的slurm脚本如下所示：

#!/bin/bash
#SBATCH -n 1               # total number of tasks requested
#SBATCH --cpus-per-task=18 # cpus to allocate per task
#SBATCH -p shortq            # queue (partition) -- defq, eduq, gpuq.
#SBATCH -t 12:00:00        # run time (hh:mm:ss) - 12.0 hours in this.

cd /To-master-directory
master.exe /h :4004 &
MASTER_PID=$!

cd /To-Parent 
# This is the directory that contains all worker (wrk)directories

parallel -i bash -c "cd {} ; worker.exe /h 127.0.0.1:4004" -- 
wrk1 wrk2 wrk3 wrk4 wrk5 wrk6 wrk7 wrk8 wrk9 wrk10 wrk11 wrk12 wrk13 wrk14 
wrk15 wrk16 wrk17 wrk18 wrk19 wrk20
kill ${MASTER_PID}

我想知道如何修改这个脚本，以便在多个节点之间划分在workers上运行的作业。例如，与wrk1到wrk5相关联的作业在节点1上运行，与wrk6到wrk10相关联的作业在节点2上运行，等等？

Answer 1

首先，您需要让Slurm为您的作业分配不同的节点，因此您需要删除--cpus-per-task选项，而是请求18个任务。

其次，您需要获得主程序运行的主机名，因为127.0.0.1在多节点设置中不再有效。

第三，只需在调用paralle中的bash之前添加srun。使用--exclusion-n1-c1，它将把parallel生成的worker的每个实例分派给分配中的每个CPU。它们可能在同一个节点上，也可能在其他节点上。

#!/bin/bash
#SBATCH -n 18               # total number of tasks requested
#SBATCH -p shortq            # queue (partition) -- defq, eduq, gpuq.
#SBATCH -t 12:00:00        # run time (hh:mm:ss) - 12.0 hours in this.

cd /To-master-directory
master.exe /h :4004 &
MASTER_PID=$!
MASTER_HOSTNAME=$(hostname)

cd /To-Parent 
# This is the directory that contains all worker (wrk)directories

parallel -i srun --exclusive -n 1 -c 1 bash -c "cd {} ; worker.exe /h $MASTER_HOSTNAME:4004" -- 
wrk1 wrk2 wrk3 wrk4 wrk5 wrk6 wrk7 wrk8 wrk9 wrk10 wrk11 wrk12 wrk13 wrk14 
wrk15 wrk16 wrk17 wrk18 wrk19 wrk20
kill ${MASTER_PID}