当前位置: 首页 > 工具软件 > alpaca > 使用案例 >

LLM-2023:Alpaca(羊驼)【Stanford】【性能与GPT3.5相当比GPT4逊色,训练成本不到100美元,基于LLaMA和指令微调,仅使用约5万条训练数据就能达到类似GPT-3.5】

王翰墨
2023-12-01

斯坦福的 Alpaca 模型基于 LLaMA-7B 和指令微调,仅使用约 5 万条训练数据,就能达到类似 GPT-3.5 的效果。

斯坦福70亿参数开源模型媲美GPT-3.5,100美元即可复现​mp.weixin.qq.com/s/U6ioEygg5mlVpAIb2L3cZw正在上传…重新上传取消

Alpaca 的训练流程很简单,只有两个步骤:

  1. 将 175 个人工设计的指令任务作为种子,使用 text-davinci-003 随机生成指令,最终生成了 52,000 条指令数据。例如:
    {
        "instruction": "Rewrite the following sentence in the third person",
        "input": "I am anxious",
        "output": "She is anxious."
    }, {
        "instruction": "What are the three primary colors?",
        "input": "",
        "output": "The three primary colors are red, blue, and yellow."
    },

2. 用指令数据

 类似资料: