【Pytorch】 accelerate

0,简介
    Accelerate提供了一个简单的 API，将与多 GPU 、 TPU 、 fp16 相关的样板代码抽离了出来，保持其余代码不变。PyTorch 用户无须使用不便控制和调整的抽象类或编写、维护样板代码，就可以直接上手多 GPU 或 TPU。

1，安装

pip install accelerate

2，应用

from accelerate import Accelerator

3，参考
https://github.com/huggingface/accelerate.git
https://www.163.com/dy/article/G847GKUQ0511AQHO.html