GPT-J 是一个基于 GPT-3，由 60 亿个参数组成的自然语言处理 AI 模型。该模型在一个 800GB 的开源文本数据集上进行训练，并且能够与类似规模的 GPT-3 模型相媲美。
该模型通过利用 Google Cloud 的 v3-256 TPU 以及 EleutherAI 的 The Pile 数据集进行训练的，历时大约五周时间。
性能对比：
| Model | Weights | Training FLOPs | LAMBADA PPL ↓ | LAMBADA Acc ↑ | Winogrande ↑ | Hellaswag ↑ | PIQA ↑ | Dataset Size (GB) |
|---|---|---|---|---|---|---|---|---|
| Chance | ✔ | 0 | ~a lot | ~0% | 50% | 25% | 25% | 0 |
| GPT-3-Ada‡ | ✘ | ----- | 9.95 | 51.6% | 52.9% | 43.4% | 70.5% | ----- |
| GPT-2-1.5B | ✔ | ----- | 10.63 | 51.21% | 59.4% | 50.9% | 70.8% | 40 |
| GPTNeo-1.3B‡ | ✔ | 3.0e21 | 7.50 | 57.2% | 55.0% | 48.9% | 71.1% | 825 |
| Megatron-2.5B* | ✘ | 2.4e21 | ----- | 61.7% | ----- | ----- | ----- | 174 |
| GPTNeo-2.7B‡ | ✔ | 6.8e21 | 5.63 | 62.2% | 56.5% | 55.8% | 73.0% | 825 |
| GPT-3-1.3B*‡ | ✘ | 2.4e21 | 5.44 | 63.6% | 58.7% | 54.7% | 75.1% | ~800 |
| GPT-3-Babbage‡ | ✘ | ----- | 5.58 | 62.4% | 59.0% | 54.5% | 75.5% | ----- |
| Megatron-8.3B* | ✘ | 7.8e21 | ----- | 66.5% | ----- | ----- | ----- | 174 |
| GPT-3-2.7B*‡ | ✘ | 4.8e21 | 4.60 | 67.1% | 62.3% | 62.8% | 75.6% | ~800 |
| Megatron-11B† | ✔ | 1.0e22 | ----- | ----- | ----- | ----- | ----- | 161 |
| GPT-J-6B‡ | ✔ | 1.5e22 | 3.99 | 69.7% | 65.3% | 66.1% | 76.5% | 825 |
| GPT-3-6.7B*‡ | ✘ | 1.2e22 | 4.00 | 70.3% | 64.5% | 67.4% | 78.0% | ~800 |
| GPT-3-Curie‡ | ✘ | ----- | 4.00 | 69.3% | 65.6% | 68.5% | 77.9% | ----- |
| GPT-3-13B*‡ | ✘ | 2.3e22 | 3.56 | 72.5% | 67.9% | 70.9% | 78.5% | ~800 |
| GPT-3-175B*‡ | ✘ | 3.1e23 | 3.00 | 76.2% | 70.2% | 78.9% | 81.0% | ~800 |
| GPT-3-Davinci‡ | ✘ | ----- | 3.0 | 75% | 72% | 78% | 80% | ----- |
-
在本文中，您将学习如何使用 Hugging Face Transformers 和 DeepSpeed-Inference来优化 GPT-2/GPT-J 的无差错。将向您展示如何使用深度速度推理应用最先进的优化技术。本文将重点介绍 GPT-2、GPT-NEO 和类似 GPT-J 的模型的单 GPU 推理 在文结束时，您将了解如何使用深度推理优化拥抱面变压器模型（GPT-2、GPT-J）。我们将针对
-
介绍 GPT-JT 来了！它是训练人工智能 (AI) 的最新开源方法，基于最近发布的开源技术和数据集。GPT-JT 已在 Together Research Computer 上采用分散式方法进行了培训，现已开源。它与按需/请求提供的 GPT-3 形成对比。对于那些希望以更易于访问且更具成本效益的方式训练 AI 模型的人来说，GPT-JT 是完美的解决方案。有了 GPT-JT，可能性是无限的。 什
-
前言 最近在看ChatGPT的相关内容，尝试了在自己电脑上调用一下OpenAI的api，下面以调用GPT-3.5-turbo为例进行讲解。 本次分享分为三大模块： 第一个模块先对连接成功后的AI聊天机器人的功能进行简要了解， 第二个模块讲一下国内连接OpenAI的api所需要的前提条件， 第三个模块详细讲解一下怎么进行连接调用OpenAI的api接口。 1 聊天模式 通过api接口连接的ChatG
-
GPT-4chan是一个脏话回帖机器人，由著名的油管主播yk编写，在某reddit频道的大量帖子与回复上训练。接下来，本文会找到GPT-4chan的模型文件，并用它运行一些样例。 下载模型 GPT-4chan的项目页面位于hugginface的ykilcher/gpt-4chan，但公告显示，由于违反互联网协议，模型的下载已被禁用。笔者探索了两种下载模型文件的方法：搜索网盘分享，或搜索网友提供的g
-
视频教学推荐阅读 GPT-4chan: This is the worst AI ever GPT-3: Language Models are Few-Shot Learners (Paper Explained) 代码： gpt-4chan代码 gpt-3论文 几种前沿NLP模型的对比 参考Gpt,gpt2,gpt3,bert,roberta,t5模型区别分析可知，几种模型系列都是由Trans
-
这使用 Databricks 笔记本微调了羊驼数据集上的 GPT-J 6B 模型。请注意，虽然 GPT-J 6B 已获得 Apache 2.0 许可，但 Alpaca 数据集已获得 Creative Commons NonCommercial (CC BY-NC 4.0) 许可。 Dolly This fine-tunes the GPT-J 6B model on the Alpaca data
-
主要内容 前言 课程列表 推荐学习路线 数学基础初级 程序语言能力 机器学习简介 自然语言学习初级 数学和机器学习知识补充 自然语言处理中级 自然语言处理专项领域学习 前言 我们要求把这些课程的所有Notes,Slides以及作者强烈推荐的论文看懂看明白，并完成所有的老师布置的习题，而推荐的书籍是不做要求的，如果有些书籍是需要看完的，我们会进行额外的说明。 课程列表 课程 机构 参考书 Notes
-
知识图谱 接口: nlp_ownthink 目标地址: https://ownthink.com/ 描述: 获取思知-知识图谱的接口, 以此来查询知识图谱数据 限量: 单次返回查询的数据结果 输入参数 名称 类型 必选 描述 word str Y word="人工智能" indicator str Y indicator="entity"; Please refer Indicator Info
-
PyTorch 自然语言处理（Natural Language Processing with PyTorch 中文版）
-
这是一本关于自然语言处理的书。所谓“自然语言”，是指人们日常交流使用的语言，如英语，印地语，葡萄牙语等。
-
自然语言处理怎么学？ 先学会倒着学，倒回去看上面那句话：不管三七二十一先用起来，然后再系统地学习 nltk是最经典的自然语言处理的python库，不知道怎么用的看前几篇文章吧，先把它用起来，最起码做出来一个词性标注的小工具 自然语言处理学什么？ 这门学科的知识可是相当的广泛，广泛到你不需要掌握任何知识就可以直接学，因为你不可能掌握它依赖的全部知识，所以就直接冲过去吧。。。 话说回来，它到底包括哪些
-
自然语言处理之序列模型 - 小象学院 解决 NLP 问题的一般思路 这个问题人类可以做好么？ - 可以 -> 记录自己的思路 -> 设计流程让机器完成你的思路 - 很难 -> 尝试从计算机的角度来思考问题 NLP 的历史进程 规则系统 正则表达式/自动机 规则是固定的 搜索引擎 “豆瓣酱用英语怎么说？” 规则：“xx用英语怎么说？” => translate(XX, English)
-
自然语言处理（NLP）是指使用诸如英语之类的自然语言与智能系统通信的AI方法。 当您希望像机器人这样的智能系统按照您的指示执行，当您想要听取基于对话的临床专家系统的决定等时，需要处理自然语言。 NLP领域涉及使计算机使用人类使用的自然语言来完成有用的任务。 NLP系统的输入和输出可以是 - Speech 书面文字 NLP的组成部分 在本节中，我们将了解NLP的不同组件。 NLP有两个组成部分。 组
-
来自 PythonProgramming.net 的文章，欢迎阅读自然语言处理系列教程，使用 Python 的自然语言工具包 NLTK 模块。