当前位置: 首页 > 工具软件 > Amp > 使用案例 >

自动混合精度(AMP)介绍与使用【Pytorch】

张砚
2023-12-01

1 前言

pytorch从1.6版本开始,已经内置了torch.cuda.amp,采用自动混合精度训练就不需要加载第三方NVIDIA的apex库。

使用精度低于32位浮点的数值格式有许多好处。首先,它们需要更少的内存,从而能够训练和部署更大的神经网络。其次,它们需要较少的内存带宽,从而加快数据传输操作。第三,数学运算在降低精度方面运行得更快,特别是在具有TensorCore支持的GPU上。混合精度训练(Mixed Precision Training)实现了所有这些好处,同时确保与完全精度训练相比,不会丢失特定任务的准确性。它这样做的方法是识别需要完全精度的步骤,只对这些步骤使用32位浮点,而在其他地方使用16位浮点。

2 Mixed Precision Training

使用Mixed Precision Training需要两个步骤:
1、在适当的情况下移植模型以使用FP16数据类型。
2、增加损失缩放以保持较小的梯度值。
以低精度(如FP16)

 类似资料: