如何使用标记化的句子作为Spacy的PoS标记器的输入？

Question

Spacy的pos-tagger非常方便，它可以直接标记原始句子。

import spacy  
sp = spacy.load('en_core_web_sm')  
sen = sp(u"I am eating")  

但我使用的是nltk中的标记器。那么，如何使用像['I'、'am'、'eating']这样的标记化句子，而不是用'I am eating'作为Spacy的标记呢？

顺便说一句，我在哪里可以找到详细的Spacy留档？我只能在官网链接上找到概述

谢谢

Answer 1

有两种选择：

>

您可以在nltk标记器周围编写一个包装器，并使用它将文本转换为spaCy的Doc格式。然后覆盖nlp。标记器具有新的自定义功能。更多信息请点击此处：https://spacy.io/usage/linguistic-features#custom-标记器。

直接从字符串列表生成文档，如下所示：

doc=doc（nlp.vocab， word=[u"I"， u"am"， u"吃"， u"."]，空格=[True， True， False， False]）

定义空格是可选的——如果不定义，默认情况下每个单词后面都会有一个空格。这在使用例如doc时很重要。文本之后。更多信息请点击此处：https://spacy.io/usage/linguistic-features#own-注释

[编辑]：请注意，nlp和doc是spaCy中的“标准”变量名，它们分别对应于代码中的变量sp和sen