当前位置: 首页 > 工具软件 > Condor > 使用案例 >

AWS ubuntu14.04实例上进行condor8.4.3 集群内配置

丁雅逸
2023-12-01

首先,在每个实例上的安全组的入站和出站选项上要添加规则:允许所有流量

第一步:manager的配置

1、主机名和ip地址的配置

使用root权限

vim /etc/hosts 修改主机名和ip地址

按i进行编辑:

127.0.0.1                                    master.condor


172.31.21.101                          master.condor

172.31.......                                slave1.condor

172...........                                  slave2.condor

................                                    ...............


按以上编辑完后:wq!保存退出

 使用ping+ip地址来测试是否能够在集群内成功通信。

2、condor的配置文件

vim /etc/condor/condor_config

按i进行编辑:

首先启用web服务:

在RELEASE_DIR的下一行加入:

WEB_ROOT_DIR = $RELEASE_DIR/web

ENABLE_SOAP = TRUE 

ENABLE_WEB_SERVER = TRUE



然后加入:

ALLOW_WRITE = 172.31.21.101,..........,................,..............

ALLOW_READ = 172.31.21.101, ....... ................. ................

这个地方要依次填上manager和slave的ip地址


然后修改condor_host的hostname,改为manager的ip地址。

然后修改deamon_list的内容


修改完wq!保存并退出。


condor_status看有几个节点配置成功

pstree|grep condor看本机器的进程

 

在一个manager机器上把condor和其他所有配置完成以后,创建一个AWS EC2 AMI(镜像文件)。然后后面的slave就复制这个AMI实例,然后再个别配置。

要处理稍微大型一点的任务,t2.micro型的实例肯定是跑不动的,起码要t2.medium(2CPU,4G内存),EBS存储的话最好在30GB以上(参照装一个Caffe和MKL的话就已经使用20G左右的空间)。

 类似资料: