Python AI教程之在 GPU 上使用深度速度推理加速 GPT-J 推理

在本文中，您将学习如何使用 Hugging Face Transformers 和 DeepSpeed-Inference来优化 GPT-2/GPT-J 的无差错。将向您展示如何使用深度速度推理应用最先进的优化技术。本文将重点介绍 GPT-2、GPT-NEO 和类似 GPT-J 的模型的单 GPU 推理 在文结束时，您将了解如何使用深度推理优化拥抱面变压器模型（GPT-2、GPT-J）。我们将针对文本生成优化 GPT-j 6B。

您将学习如何：

• 设置开发环境
• 加载普通 GPT-J 模型并设置基线
• 使用深度速度推理引擎优化适用于 GPU 的 GPT-J
• 评估性能和速度
  让我们开始吧！��

本教程是在包含 NVIDIA T4 的 g4dn.2x 大端 AWS EC2 实例上创建和运行的。

快速介绍：什么是深度速度推理DeepSpeed-Inference

深度速度推理是专注于推理工作负载的深度速度框架的扩展。深度速度推理将模型并行技术（如张量、管道并行）与自定义优化的 cuda 内核相结合。DeepSpeed 为使用 DeepSpeed、Megatron 和拥抱面训练的基于变压器的兼容模型提供无缝推理模式。有关兼容型号的列表，请参阅此处。如前所述，DeepSpeed-推理集成了模型并行技术，允许您为LLM运行多GPU推理，例如具有1760亿个参数的BLOOM。如果您想了解有关深度超速推理的更多信息：

• 论文：深度推理：以前所未有的规模实现变压器模型的高效推理 DeepSpeed Inference: Enabling Efficient Inference of Transformer Models at Un