系统配置
优质
小牛编辑
115浏览
2023-12-01
输入输出路径，运行模式，部署模式等相关配置
| 配置项名称 | 默认值 | 配置项含义 |
|---|---|---|
| action.type | train | Angel task的运行方式，目前主要有两种“train”和“predict”，分别表示模型训练和使用模型进行预测 |
| angel.output.path.deleteonexist | false | 当输出路径存在时，是否直接覆盖 |
| angel.train.data.path | 无 | 训练数据所在路径，该选项用于“train”运行方式下 |
| angel.predict.data.path | 无 | 预测数据所在路径，该选项用于“predict”运行方式下 |
| angel.input.format | com.tencent.angel.data.inputformat.BalanceInputFormat | 训练数据文件格式，主要用于训练数据划分和读取，可支持自定义格式 |
| angel.predict.out.path | 无 | 预测结果存储路径，该选项只用于“predict”运行方式 |
| angel.save.model.path | 无 | 模型存储路径，该选项只用于“train”运行方式 |
| angel.load.model.path | 无 | 模型加载路径，该选项可用于“train”和“predict”运行方式。用于“train”时表示增量学习，即加载旧模型，利用新的训练数据在此基础上得到新的模型；用于“predict”时表示加载该模型进行预测 |
| angel.deploy.mode | YARN | 部署方式，目前支持“YARN”和“LOCAL”两种方式，“LOCAL”部署方式下目前只支持启动一个Worker和PS |
| angel.running.mode | ANGEL_PS_WORKER | 运行模式，目前支持“ANGEL_PS_WORKER”和“ANGEL_PS”两种模式。“ANGEL_PS_WORKER”表示启动PS和Worker组件，即Angel自己就可以完成整个任务的计算；“ANGEL_PS”表示PS-Service，即只启动PS，向第三方计算平台（例如spark）提供PS服务 |
| angel.job.libjars | 无 | Angel计算任务需要依赖的jar包，多个jar包之间使用逗号分隔 |
| queue | 无 | Angel计算任务使用的资源池，用于Yarn模式下的资源管理 |
| angel.job.name | angel app | Angel计算任务的名字 |
| angel.app.config.file | 无 | Angel支持命令行参数设置和配置文件两种方式，当使用配置文件时，可以上传一个xml格式的参数配置文件 |
| angel.app.submit.class | com.tencent.angel.utils.DefaultAppSubmitter | Angel任务提交类 |
| angel.task.user.task.class | com.tencent.angel.worker.task.BaseTask | Angel worker运行的task类，用户可以根据需求自定义task类，但需要继承com.tencent.angel.worker.task.BaseTask |
资源与运行环境相关配置
| 配置项名称 | 默认值 | 配置项含义 |
|---|---|---|
| angel.am.env | 无 | Angel Master环境变量设置，形式为K1=V1,K2=V2 |
| angel.worker.env | 无 | Angel Worker环境变量设置，形式为K1=V1,K2=V2 |
| angel.ps.env | 无 | Angel PS环境变量设置，形式为K1=V1,K2=V2 |
| angel.workergroup.number | 1 | 需要启动的workergroup数量，目前一个workergroup仅支持一个worker，因此worker和workergroup数量相等 |
| angel.worker.task.number | 1 | 每个worker上运行的task数量 |
| angel.ps.number | 1 | 需要启动的ps数量 |
| angel.am.cpu.vcores | 1 | Angel master使用的CPU vcore数量 |
| angel.am.memory.mb | 1280 | Angel master使用的内存大小，以MB为单位 |
| angel.am.memory.gb | 2 | Angel master使用的内存大小，以GB为单位 |
| angel.am.java.opts | 无 | Angel master进程JVM参数 |
| angel.worker.cpu.vcores | 1 | 一个worker使用的vcore数量 |
| angel.worker.memory.mb | 4096 | 一个worker使用的内存大小，以MB为单位 |
| angel.worker.memory.gb | 4 | 一个worker使用的内存大小，以GB为单位 |
| angel.worker.java.opts | 无 | worker进程JVM参数 |
| angel.ps.cpu.vcores | 1 | 一个PS使用的vcore数量 |
| angel.ps.memory.mb | 4096 | 一个PS使用的内存大小，以MB为单位 |
| angel.ps.memory.gb | 4 | 一个PS使用的内存大小，以GB为单位 |
| angel.ps.java.opts | 无 | PS进程JVM参数 |
RPC相关配置
| 配置项名称 | 默认值 | 配置项含义 |
|---|---|---|
| angel.am.heartbeat.interval.ms | 5000 | Angel master向Yarn RM发送心跳的时间间隔，单位为毫秒 |
| angel.worker.heartbeat.interval.ms | 5000 | Angel worker向Angel master发送心跳的时间间隔，单位为毫秒 |
| angel.ps.heartbeat.interval.ms | 5000 | Angel PS向Angel master发送心跳的时间间隔，单位为毫秒 |
| angel.netty.matrixtransfer.client.sndbuf | 1048576 | Netty矩阵传输客户端使用的发送缓冲区的大小，单位为字节。PSAgent和PS之间的矩阵数据传输使用的网络框架是Netty，PSAgent为客户端，所以Netty客户端位于PSAgent侧。 |
| angel.netty.matrixtransfer.client.rcvbuf | 1048576 | Netty矩阵传输客户端使用的接收缓冲区的大小，单位为字节。 |
| angel.netty.matrixtransfer.client.eventgroup.threadnum | availableProcessors * 2 | Netty矩阵传输客户端使用的工作线程数量（NioEventLoopGroup使用的线程数）。 |
| angel.netty.matrixtransfer.client.usedirectbuffer | true | Netty矩阵传输客户端是否要使用direct buffer。true表示要使用direct buffer，false表示使用普通堆内存。 |
| angel.netty.matrixtransfer.server.sndbuf | 1048576 | Netty矩阵传输服务端使用的发送缓冲区的大小，单位为字节。PSAgent和PS之间的矩阵数据传输使用的网络框架是Netty，PS为服务端。 |
| angel.netty.matrixtransfer.server.rcvbuf | 1048576 | Netty矩阵传输服务端使用的接收缓冲区的大小，单位为字节。 |
| angel.netty.matrixtransfer.server.eventgroup.threadnum | availableProcessors * 2 | Netty矩阵传输服务端使用的工作线程数量（NioEventLoopGroup使用的线程数）。 |
| angel.netty.matrixtransfer.server.usedirectbuffer | true | Netty矩阵传输服务端是否要使用direct buffer。true表示要使用direct buffer，false表示使用普通堆内存。 |
| angel.netty.matrixtransfer.max.message.size | 1073741824 | Netty矩阵传输支持的最大的单个消息的大小，单位为字节，默认为100M。 |
| angel.matrixtransfer.max.requestnum.perserver | 16 | PSAgent能够最多同时向一个PS发起多少个请求，该参数用于流量控制，避免同时向一个PS发起太多请求而导致出流量占满，进而导致发往其他PS的请求等待。 |
| angel.matrixtransfer.max.requestnum | 1024 | PSAgent能够最多同时向所有PS发起多少个请求，该参数用于流量控制。 |
系统可用性相关配置
| 配置项名称 | 默认值 | 配置项含义 |
|---|---|---|
| angel.am.max-attempts | 2 | Master最大运行尝试次数。 |
| angel.worker.max-attempts | 4 | Worker最大运行尝试次数。 |
| angel.ps.max-attempts | 4 | PS最大运行尝试次数。 |
| angel.am.appstate.timeout.ms | 600000 | Application处于临时状态最大允许时间，单位为毫秒。临时状态指的是除了RUNNING和COMMITTING外的其他状态，如果处于临时状态的时间超过了限制，Application将会退出 |
| angel.am.write.state.interval.ms | 10000 | Master将作业状态信息写入hdfs时间间隔，单位为毫秒。 |
| angel.worker.heartbeat.interval.ms | 5000 | Worker向Master发送的心跳间隔时间，单位为毫秒。 |
| angel.worker.heartbeat.timeout.ms | 600000 | Worker向Master发送的心跳超时时间，单位为毫秒。如果一个Worker超过该时间没有向Master上报心跳，将会被Master判定为异常。 |
| angel.ps.heartbeat.interval.ms | 5000 | PS向Master发送的心跳间隔时间，单位为毫秒。 |
| angel.ps.heartbeat.timeout.ms | 600000 | PS向Master发送的心跳超时时间，单位为毫秒。如果一个PS超过该时间没有向Master上报心跳，将会被Master判定为异常。 |
| angel.ps.backup.interval.ms | 300000 | PS将所承载的参数写入hdfs间隔时间，单位为毫秒。PS会每隔一段时间将存储在其上的矩阵参数写入hdfs，用在PS宕机恢复。 |
| angel.matrixtransfer.retry.interval.ms | 10000 | 失败的矩阵传输请求重试时间间隔，单位为毫秒。 |
| angel.matrixtransfer.request.timeout.ms | 30000 | 矩阵传输请求超时时间，单位为毫秒。 |
日志相关配置
| 配置项名称 | 默认值 | 配置项含义 |
|---|---|---|
| angel.am.log.level | INFO | Master日志输出级别，可配置的有DEBUG,INFO,WARN和ERROR |
| angel.worker.log.level | INFO | Worker日志输出级别，可配置的有DEBUG,INFO,WARN和ERROR |
| angel.ps.log.level | INFO | PS日志输出级别，可配置的有DEBUG,INFO,WARN和ERROR |
缓存相关配置
| 配置项名称 | 默认值 | 配置项含义 |
|---|---|---|
| angel.psagent.cache.sync.timeinterval.ms | 200 | PSAgent侧缓存更新时间间隔，单位为毫秒。为了实现矩阵参数预取功能，在PSAgent侧维护了一个矩阵参数的缓存，该缓存每隔一段时间和PS侧数据进行同步。 |
| angel.task.data.storage.level | memory_disk | Task预处理过的训练数据存储方式，可选的有memory,memory_disk和disk。memory表示将所有训练数据存储在内存中，如果内存足够大，建议使用这种方式；disk表示将所有训练数据存储在本地磁盘上；memory_disk则介于两者之间，可以支持一部分放在内存中，其余的放在本地磁盘。 |
| angel.task.memory.storage.max.mb | 1000 | 每一个task运行使用多大内存来存放训练数据，单位为MB。只有当storage level配置为memory_disk时该选项才起作用。 |
项目地址：https://github.com/Angel-ML/angel
官网：https://angelml.ai/