[论文笔记] chatgpt系列 2.1 DeepSpeed-chat 简介

DeepSpeedExamples/applications/DeepSpeed-Chat at master · microsoft/DeepSpeedExamples · GitHub

�� DeepSpeed-Chat:简单，快速和负担得起的RLHF训练的类chatgpt模型 ��

一个快速、经济、可扩展和开放的系统框架，用于实现端到端的强化学习人类反馈(RLHF)训练体验，以在所有尺度上生成高质量的类chatgpt模型。

��什么是DeepSpeed聊天��

https://user-images.githubusercontent.com/124002815/230290966-a78ea171-ab65-4fcc-b91e-67c7c4403497.mp4

本着使chatgpt风格的模型及其功能民主化的精神，DeepSpeed很自豪地推出了一个通用的系统框架，为类似chatgpt的模型提供端到端的培训体验，名为DeepSpeed Chat。它可以自动采用您最喜欢的预训练大型语言模型，通过OpenAI InstructGPT风格的三个阶段来生成您自己的高质量chatgpt风格模型。DeepSpeed Chat使高质量chatgpt风格模型的培训变得简单，快速，经济实惠和可扩展。

只需点击一下，您就可以在1.36小时内在1个具有48GB内存的消费级NVIDI