StableLM - 小记

---

关于 StableLM

https://github.com/stability-AI/stableLM

---

StableLM 是 Stable Diffusion 的母公司 Stability AI 发布的大语言模型：。

该模型的 Alpha 版本有 30 亿和 70 亿参数，并将于后续开放 150 亿和 650 亿的参数模型。

Stability AI 的创始人 Emad Mostaque 自 2020 年从 OpenAI 团队离开后，一直秉承着开源开放的理念，持续推出了多款 AI 开源模型。

StableLM，基础功能跟 GPT 一样，支持生成文本和代码，在未来可以给不少应用提供基础技术支持。

在 GitHub 项目中，StableLM 提供了几个基础演示，包括聊天、撰写书信、小说创作、代码编写等功能，大家可以关注下。

StableLM 的技术经验，来自于非营利性研究中心 EleutherAI 开源早期的语言模型。

这些语言模型包括 GPT-J、GPT-NeoX 和 Pythia 套件，它们都是在 The Pile 开源数据集上做的训练。

虽然 StableLM 是基于 The Pile 数据集做的训练，但实际训练数据集要大 3 倍，里面总共包含了 1.5 万亿个 token。

该项目基于 CC BY-SA 4.0 许可发布，这也就意味着，你可以将 StableLM 应用于商业产品。

如果 StableLM 能做好语言模型，该技术也将反哺至 Stable Diffusion，进而构建出更好的社区生态。