xturing 为 LLM 提供了快速、高效和简单的微调，如 LLaMA、GPT-J、GPT-2、OPT、Cerebras-GPT、Galactica 等。通过提供一个易于使用的界面，再根据你自己的数据和应用来个性化 LLM，xTuring 使构建和控制 LLM 变得简单。整个过程可以在你的电脑内或在你的私有云中完成，确保数据的隐私和安全。
通过 xturing，你可以：
- 从不同的来源摄取数据，并将其预处理成 LLM 可以理解的格式
- 从单个 GPU 扩展到多个 GPU，以便更快地进行微调
- 利用内存效率高的技术（即 LoRA 微调）来减少你的硬件成本，最多可减少 90% 的时间。
- 探索不同的微调方法，并以它们为基准，找到性能最好的模型
- 在明确定义的指标上评估微调模型，进行深入分析
CLI
UI
安装
pip install xturing
快速开始
from xturing.datasets import InstructionDataset from xturing.models import BaseModel # Load the dataset instruction_dataset = InstructionDataset("./alpaca_data") # Initialize the model model = BaseModel.create("llama_lora") # Finetune the model model.finetune(dataset=instruction_dataset) # Perform inference output = model.generate(texts=["Why LLM models are becoming so important?"]) print("Generated output by the model: {}".format(output))
-
我觉得只添加内置的人性化(humanize)包就会很不错。它包含一组为数据添加“人性化（human touch）”的工具集。 例如，我们可以使用它来更自然地显示日期和时间字段。我们可以简单地显示：“2分钟前”，而不是显示整个日期。 我们来实践一下！首先，添加 django.contrib.humanize 到配置文件的 INSTALLED_APPS 中。 myproject/settings.py
-
能更改XP文件夹和驱动器的图标，背景提示文字等的小工具。 用NSIS编写，附源代码： ;NSIS脚本 ;文件夹个性化 ;编写:ansifa ;E-mail: ansifa@163.com ;__________________________________ SetCompressor /SOLID /FINAL lzma XPStyle on CRCCHECK OFF !include "MU
-
我正试图让一个旋转器(2)改变另一个旋转器(1)的内容。 我当前在第二个微调器的数组适配器中遇到错误“错误：（28，57）错误：无法推断数组适配器的类型参数 这是我的代码： 任何帮助都将不胜感激。
-
如果经过之前章节的一系列优化之后，数据确实超过了集群能承载的能力，除了拆分集群以外，最后就只剩下一个办法了：清除废旧索引。 为了更加方便的做清除数据，合并 segment，备份恢复等管理任务，Elasticsearch 在提供相关 API 的同时，另外准备了一个命令行工具，叫 curator 。curator 是 Python 程序，可以直接通过 pypi 库安装： pip install ela
-
可以根据自己的要求来个性化Vim。 在本节中，将讨论以下主题内容 - 配置文件 改变字体 改变配色方案 个性突出 状态行 1. 配置文件 对于Vim配置文件可以是用户级别或全局级别。 用户特定设置将存储在用户级文件中，而全局设置将存储在全局级文件中。 1.1. Vimrc文件 全局vimrc 要查找全局vimrc文件，请在编辑器中执行以下命令: 或者 在Linux上，这个文件将位于目录下，而在Wi
-
网站设计用于用户的重复访问。 个性化允许站点记住用户身份和其他信息细节，并为每个用户呈现个性化环境。 ASP.NET提供个性化网站的服务，以满足特定客户的口味和偏好。 了解配置文件 ASP.NET个性化服务基于用户配置文件。 用户配置文件定义了网站所需用户的信息类型。 例如，姓名，年龄，地址，出生日期和电话号码。 此信息在应用程序的web.config文件中定义，ASP.NET运行时读取并使用它。
-
在前面的一些章节中，我们介绍了如何在只有6万张图像的Fashion-MNIST训练数据集上训练模型。我们还描述了学术界当下使用最广泛的大规模图像数据集ImageNet，它有超过1,000万的图像和1,000类的物体。然而，我们平常接触到数据集的规模通常在这两者之间。 假设我们想从图像中识别出不同种类的椅子，然后将购买链接推荐给用户。一种可能的方法是先找出100种常见的椅子，为每种椅子拍摄1,000
-
除了修改书籍的主题外，还可以通过配置 book.json 文件来修改 gitbook 在编译书籍时的行为，例如：修改书籍的名称，显示效果等等。