使用新实体训练Spacy模型后，训练好的NER模型保存在哪里

Question

我仍在学习Python和创建模型，对使用Spacy的NLP非常陌生。我曾经https://spacy.io/usage/training#ner培训Spacy现有的模式——en_core_web_sm。

我用我的领域特定实体训练了这个模型。

def main(model="en_core_web_sm", new_model_name="new_ner_model", output_dir='/content/drive/My Drive/Data/new_model', n_iter=100):
.
.
(code to train the model)
.
.
    # save model to output directory
    if output_dir is not None:
        output_dir = Path(output_dir)
        if not output_dir.exists():
            output_dir.mkdir()
        nlp.meta["name"] = new_model_name  # rename model
        nlp.to_disk(output_dir)
        print("Saved model to", output_dir)

现在我假设我会在输出目录中找到一个模型文件。相反，我有4个子文件夹——词汇表、ner、标记器、解析器。还有2个文件meta.json和标记器。ner子文件夹有cfg、移动、模型。

根据上面提到的网站，要加载新模型，我需要使用整个文件夹（输出目录），即。

nlp2=spacy。加载（输出方向）

是需要整个目录（是模型）还是ner子文件夹中名为model的二进制文件？

Answer 1

一般来说，我们建议将整个模型保存为一个文件夹，以确保一致地加载所有内容。单独加载模型文件是行不通的。它只包含神经网络的权重。需要其他一些文件来定义NLP管道的参数和设置

你可以做的一件事是禁用你不感兴趣的组件。这将减少磁盘上的文件夹大小，并删除不需要的冗余文件夹。例如，如果你只对NER感兴趣，你可以：

nlp = spacy.load("en_core_web_sm", disable=["parser", "tagger"])`

或者，如果加载了整个模型，则可以将其部分存储到磁盘：

nlp.to_disk(output_dir, exclude=["parser", "tagger"])