PatrickStar 是一款腾讯开发的分布式深度学习训练工具，它的设计目标是支持以 GPT、Bert 为代表的超大预训练模型训练。
用法
PatrickStar 基于 PyTorch，这使得迁移 pytorch 项目变得容易。以下是 PatrickStar 的示例：
from patrickstar.runtime import initialize_engine config = { "optimizer": { "type": "Adam", "params": { "lr": 0.001, "betas": (0.9, 0.999), "eps": 1e-6, "weight_decay": 0, "use_hybrid_adam": True, }, }, "fp16": { # loss scaler params "enabled": True, "loss_scale": 0, "initial_scale_power": 2 ** 3, "loss_scale_window": 1000, "hysteresis": 2, "min_loss_scale": 1, }, "default_chunk_size": 64 * 1024 * 1024, "release_after_init": True, "use_cpu_embedding": False, } def model_func(): # MyModel is a derived class for torch.nn.Module return MyModel(...) model, optimizer = initialize_engine(model_func=model_func, local_rank=0, config=config) ... for data in dataloader: optimizer.zero_grad() loss = model(data) model.backward(loss) optimizer.step()
使用与 DeepSpeed 配置 JSON 相同的config格式，主要包括优化器、损失缩放器和一些 PatrickStar 特定配置的参数。
引用我们
@article{fang2021patrickstar,
title={PatrickStar: Parallel Training of Pre-trained Models via a Chunk-based Memory Management},
author={Fang, Jiarui and Yu, Yang and Zhu, Zilin and Li, Shenggui and You, Yang and Zhou, Jie},
journal={arXiv preprint arXiv:2108.05818},
year={2021}
}-
相关概念 客户端 (Client)：客户端是一个用于建立 TensorFlow 计算图并创立与集群进行交互的会话层 tensorflow::Session 的程序。一般客户端是通过 python 或 C++ 实现的。一个独立的客户端进程可以同时与多个 TensorFlow 的服务端相连 (上面的计算流程一节)，同时一个独立的服务端也可以与多个客户端相连。 集群 (Cluster) : 一个 Ten
-
简介 TensorFlow只是library，分布式TensorFlow应用需要我们在多个节点启动Python脚本组成分布式计算集群。 Xiaomi Cloud-ML支持标准的分布式TensorFlow应用，用户只需编写对应的Python脚本即可提交运行，用法与单机版类似。 代码规范 由于分布式TensorFlow应用需要启动多节点，每个节点需要知道自己的角色，一般都是通过命令行参数传入，而用户自
-
我计划编写一个国际象棋引擎，它使用深度卷积神经网络来评估国际象棋的位置。我将使用位板来表示棋盘状态，这意味着输入层应该有12*64个神经元用于位置，1个用于玩家移动（0表示黑色，1表示白色）和4个神经元用于铸币权（wks、bks、wqs、bqs）。将有两个隐藏层，每个层有515个神经元，一个输出神经元的值介于-1表示黑色获胜，1表示白色获胜，0表示相等的位置。所有神经元都将使用tanh（）激活函数
-
主要内容 课程列表 专项课程学习 辅助课程 论文专区 课程列表 课程 机构 参考书 Notes等其他资料 卷积神经网络视觉识别 Stanford 暂无 链接 神经网络 Tweet 暂无 链接 深度学习用于自然语言处理 Stanford 暂无 链接 自然语言处理 Speech and Language Processing 链接 专项课程学习 下述的课程都是公认的最好的在线学习资料，侧重点不同，但推
-
Google Cloud Platform 推出了一个 Learn TensorFlow and deep learning, without a Ph.D. 的教程，介绍了如何基于 Tensorflow 实现 CNN 和 RNN，链接在 这里。 Youtube Slide1 Slide2 Sample Code
-
现在开始学深度学习。在这部分讲义中，我们要简单介绍神经网络，讨论一下向量化以及利用反向传播(backpropagation)来训练神经网络。 1 神经网络(Neural Networks) 我们将慢慢的从一个小问题开始一步一步的构建一个神经网络。回忆一下本课程最开始的时就见到的那个房价预测问题：给定房屋的面积，我们要预测其价格。 在之前的章节中，我们学到的方法是在数据图像中拟合一条直线。现在咱们不
-
深度学习的总体来讲分三层，输入层，隐藏层和输出层。如下图： 但是中间的隐藏层可以是多层，所以叫深度神经网络，中间的隐藏层可以有多种形式，就构成了各种不同的神经网络模型。这部分主要介绍各种常见的神经网络层。在熟悉这些常见的层后，一个神经网络其实就是各种不同层的组合。后边介绍主要基于keras的文档进行组织介绍。
-
Python 是一种通用的高级编程语言，广泛用于数据科学和生成深度学习算法。这个简短的教程介绍了 Python 及其库，如 Numpy，Scipy，Pandas，Matplotlib，像 Theano，TensorFlow，Keras 这样的框架。