txtai 教程系列 5-----使用 txtai 提取 QA

在第 1 部分到第 4 部分中，我们对 txtai 进行了总体概述、支持技术以及如何使用它进行相似性搜索的示例。本文以此为基础并扩展到构建提取式问答系统。

安装依赖
安装txtai和所有依赖项。
pip install txtai
创建一个 Embeddings 和 Extractor 实例
Embeddings 实例是 txtai 的主要入口点。Embeddings 实例定义了用于标记化一段文本并将其转换为嵌入向量的方法。

Extractor 实例是提取式问答的入口点。

Embeddings 和 Extractor 实例都采用通往转换器模型的路径。Hugging Face 模型中心上的任何模型都可以用来代替以下模型。
from txtai.embeddings import Embeddings
from txtai.pipeline import Extractor

Create embeddings model, backed by sentence-transformers & transformers

embeddings = Embeddings({“path”: “sentence-transformers/nli-mpnet-base-v2”})

Create extractor instance

extractor = Extractor(embeddings, “distilbert-base-cased-distilled-squad”)
data = [“Giants hit 3 HRs to down Dodgers”,
“Giants 5 Dodgers 4 final”,
“Dodgers drop Game 2 a