资源配置指南

优质

小牛编辑

127浏览

2023-12-01

Angel资源配置指南

Angel是基于PS范式的分布式机器学习系统。Parameter Server的引入，简化了计算模型的复杂度，提升了运行速度。但是，一个额外系统的引入，也造成了资源的配置复杂度增加。为此，我们编写了该指南，希望能帮助Angel的用户，更好的配置出高性能的PS系统，跑出高性能的算法。

运行一个Angel任务，需要确定任务的资源参数如下。根据你的数据大小，模型设计，机器学习算法，准确预估出所需要的资源，将能大大提升运行效率。

由于Angel的Master非常轻量，大部分情况下，使用默认参数就可以满足要求了，所以我们主要需要配置的是Worker和PS的资源参数。计算不会发生在Master端，除非Worker数非常多，才需要稍微调大Master资源。

为了更好的实现数据并行，Angel可以自由配置Worker的个数。一般情况下，Worker的个数主要取决于总的需要计算的数据量大小。一般情况下，单个Worker处理的数据量推荐值为1-5GB（这里特指未压缩的文本格式数据，其他格式需要乘以对应的压缩比，下同）。

Worker的内存使用分布状况如下：

模型部分
- 模型（model）：从PS拉取的当前Worker需要计算的模型部分
- 模型更新（model delta）：Worker的Task计算得到的模型更新
- 合并后的模型更新（merged model delta）：合并后的模型更新
系统部分
- 系统(system buffer)：Netty框架使用的ByteBuf pool等
数据部分
- 格式化后的训练数据(training data)
  - 比例：原始训练数据大小和格式化后占用内存空间的比率为1.5：1，即1.5GB的原始训练数据经格式化并加载到内存中后占用1GB的内存空间
  - dummy和libsvm格式的比例相同
  - 当然，如果内存紧张，可以使用本地磁盘来存储格式化的数据
计算公式
定义如下变量：
- 一个Worker上运行的Task数量为N
- 训练使用的模型部分的大小为Sm
- task每轮迭代产生的更新大小为Smd
- 合并后的模型更新大小为Smmd
- 训练数据占用的内存大小为St
- 系统部分占用内存大小为Sb
  Worker内存估算公式为：
  系统使用的内存可以通过下面的方法简单估算：
  估算公式可以简化为：

与内存参数不一样的是CPU vcore只会影响任务执行效率，而不会影响任务的正确性。建议CPU vcore数和和内存参数按物理机器资源比例来调整。举一个简单的例子：

如果一台物理机器总的内存大小是100G，CPU vcore总数为50，当Worker内存配置为10G/20G时，CPU vcore可以配置为5/10。

PS个数配置主要取决于Worker个数，模型的格式，和模型大小相关。

一般Worker数量越多，模型越大，需要的PS个数越多。推荐PS个数为Worker个数的1/5-4/5。PS个数和算法相关性非常大，应具体算法具体分析。

PS的内存使用分布如下：

模型部分（model partitions）：每个PS会加载的模型分区
- 模型的格式有稀疏和稠密两种，稀疏模型用Map，稠密模型用Double，占用的空间都不一致
系统部分（system buffer）：Netty框架使用的ByteBuf pool等
- 由于要与多个Worker发生大数据量的交互，需要大量的发送和接收缓冲区。因此，一般情况下系统本身消耗的内存远大于模型分区本身。