从spaCy中的词根（引理）和词性（POS）标签获取完全形成的单词“文本”

Question

tl；dr.我怎样才能将词根和词性标签组合成一个完全修改过的单词？

例如：

getText（'easy'、'Adexible'、'Superative'）--

getText（'eat'，'verb'，'3rd person singular'）--

getText（'spoon'、'noun'、'复数'）--

getText（“游泳”、“动词”、“过去分词”）-

等

spaCy可以将这个句子标记化/解析为以下标记，包括“文本”、“引理”、词性标记（“POS”）、详细词性标记（“tag”）等：

doc = nlp(u'Apple is looking at buying U.K. startup for $1 billion')

解析的令牌：

TEXT    LEMMA   POS     TAG DEP         SHAPE   ALPHA   STOP
Apple   apple   PROPN   NNP nsubj       Xxxxx   True    False
is      be      VERB    VBZ aux         xx      True    True
looking look    VERB    VBG ROOT        xxxx    True    False
at      at      ADP     IN  prep        xx      True    True
buying  buy     VERB    VBG pcomp       xxxx    True    False
U.K.    u.k.    PROPN   NNP compound    X.X.    False   False
...

我想反转这个过程——给定特定的“LEMMA”/“POS”/“TAG”组合，获取一个“TEXT”字符串。

也就是说

getText(lemma="look", pos="verb", tag="vbg")

将返回“查找”。

这是否可能在太空中实现，如果可能，如何实现？

如果没有，是否可以使用不同的库来取消词根/引理和词性标记中的单词的发音？

我知道这种模式。en可以复数化/共轭化/etc（“untokenize”？）但是使用spaCy更快的处理速度和python3兼容性会更好。

不想使用模式的另一个原因。en：我想先标记文本，然后再取消标记文本，如果两者都使用同一个库就好了。我发现spaCy比pattern更擅长标记化。EN（例如pattern.en不会将“easest”标记为“easy”，但spaCy会）。

“标记化”指的是将一个句子拆分为词根和词性标签。




Answer 1

据我所知，spaCy目前没有内置该功能。但是，设置自定义令牌属性将非常容易，这些属性将执行与您所要求的类似的操作。例如，如果您想为所有动词令牌定义过去式变位属性，您可以创建一个VBD函数并将其作为自定义属性应用于每个令牌上的getter，如下所示：

>>> import spacy
>>> nlp = spacy.load('en')

>>> def vbd(token):
...     """a bad conjugation function"""
...     if token.pos_ == 'VERB':
...         return token.lemma_ + 'ed'

>>> spacy.tokens.Token.set_extension('vbd', getter=vbd, default=None)
>>> doc = nlp(u'Apple is looking at buying U.K. startup for $1 billion')
>>> for token in doc:
...     print(token.text, ":", token._.vbd)

Apple : None
is : beed
looking : looked
at : None
buying : buyed
U.K. : None
startup : None
for : None
$ : None
1 : None
billion : None

正如你所看到的，这个函数不是很健壮，因为它会吐出“beed”和“buyed”，但“looked”是正确的。

至于实现共轭的健壮方法，pattern是我遇到的最好的库。如果你用正确的共轭函数替换vbd函数，并为你想要的任何其他共轭或屈折定义函数，你就会非常接近你所想象的。这将允许您仅对共轭使用模式，但使用空间标记化和柠檬化。