使用nltk自定义标记

Question

我正在尝试创建一种类似于英语的小型语言来指定任务。基本思想是将陈述分为动词和名词短语，这些动词应适用于它们。我正在使用nltk，但未获得我希望的结果，例如：

>>> nltk.pos_tag(nltk.word_tokenize("select the files and copy to harddrive'"))
[('select', 'NN'), ('the', 'DT'), ('files', 'NNS'), ('and', 'CC'), ('copy', 'VB'), ('to', 'TO'), ("harddrive'", 'NNP')]
>>> nltk.pos_tag(nltk.word_tokenize("move the files to harddrive'"))
[('move', 'NN'), ('the', 'DT'), ('files', 'NNS'), ('to', 'TO'), ("harddrive'", 'NNP')]
>>> nltk.pos_tag(nltk.word_tokenize("copy the files to harddrive'"))
[('copy', 'NN'), ('the', 'DT'), ('files', 'NNS'), ('to', 'TO'), ("harddrive'", 'NNP')]

在每种情况下，它都未能意识到第一个单词（选择，移动和复制）被用作动词。我知道我可以创建自定义标签和语法来解决此问题，但是与此同时，当很多此类东西不在我的支持范围内时，我犹豫要重新发明轮子。我特别希望可以同时处理非英语语言的解决方案。

所以无论如何，我的问题之一是：这种语法是否有更好的标记器？有没有一种方法可以对现有的标记器进行加权，使其比名词形式更频繁地使用动词形式？有没有训练标记器的方法？总共有更好的方法吗？

Answer 1

一种解决方案是创建一个手动的UnigramTagger，该手动Backgram可以返回到NLTK标记器。像这样：

>>> import nltk.tag, nltk.data
>>> default_tagger = nltk.data.load(nltk.tag._POS_TAGGER)
>>> model = {'select': 'VB'}
>>> tagger = nltk.tag.UnigramTagger(model=model, backoff=default_tagger)

然后你得到

>>> tagger.tag(['select', 'the', 'files'])
[('select', 'VB'), ('the', 'DT'), ('files', 'NNS')]

只要您具有适当的默认标记器，该方法就可以适用于非英语语言。您可以通过训练自己的标记者train_tagger.py从NLTK，教练和适当的语料库。