当前位置: 首页 > 文档资料 > Angel 中文文档 >

代码结构

优质
小牛编辑
133浏览
2023-12-01

Angel的代码框架


Angel的代码结构,从整体上可以划分为几大模块:

1. Angle-Core(核心层)

Angel的核心层,包括了如下核心组件:

  • PSServer
  • PSAgent
  • Worker
  • AngelClient
  • 网络:RPC & RDMA
  • 存储:Memory & Disk
  • ……

2. Angel-ML(机器学习层)

Angel是面向机器学习的,所以关于机器学习的相关元素,也是加入到Core层的,只不过是单独一个目录

包括了

  • Matrix
  • Vector
  • Feature
  • Optimizer
  • Objective
  • Metric
  • psFunc

但是请留意,在Core包中的ML层,大部分都是底层基础接口,而相关的扩展和实现,还是在具体的算法层

3. Angel-Client(接口层)

Angel的接口层,是可以基于底层,进行插拔式扩展的。目前有2套API,一套是Angel的,一套是Spark的。

  • Angel的API

    Angel的本身API,设计时关注点在于PSModel。整体的任务运行,有第一代MR的影子,简单而直接。MLRunner通过Task驱动,调用Learner,学习到多个或者1个PSModel组成的MLModel。

  • Spark on Angel的API

    Spark on Angel的API,重点在于和Spark的配合。Angel的PS-Service设计,使得我们可以轻松开发Spark on Angel,在Spark中,无需修改Core,而直接调用Spark on Angel。

4. Angle-MLLib(算法层)

基于Angel本身的接口,我们开发了多个算法,包括:

  • SVM
  • LR(各种优化方法)
  • KMeans
  • GBDT
  • LDA
  • MF(矩阵分解)
  • FM(因式分解机)

Angel的算法开发思路比较直接,都是围绕着PS上的模型进行,不停更新。算法的实现技巧也比较灵活,追求最优的性能。

整体上,通过这4个层级的代码,用户可以全方位的积木式进行代码的设计,开发出高效的机器学习代码。

项目地址:https://github.com/Angel-ML/angel
官网:https://angelml.ai/