在Python的标记化文字中寻找多字词

Question

我有一个已被标记的文本，或者一般来说，单词列表也是可以的。例如：

   >>> from nltk.tokenize import word_tokenize
    >>> s = '''Good muffins cost $3.88\nin New York.  Please buy me
    ... two of them.\n\nThanks.'''
    >>> word_tokenize(s)
        ['Good', 'muffins', 'cost', '$', '3.88', 'in', 'New', 'York', '.',
        'Please', 'buy', 'me', 'two', 'of', 'them', '.', 'Thanks', '.']

如果我有一个包含单个单词和多个单词键的Python字典，该如何有效且正确地检查其在文本中的存在？理想的输出应该是key：location_in_text对，或者是一些方便的东西。提前致谢！

附言：“正确”地解释-如果我的字典中有“租赁”，我不希望请打上标记。另外，需要识别复数。我想知道如果没有许多if-else子句，是否可以很好地解决这个问题。

Answer 1

如果您已经有了“多词表达式”地名词典的列表，则可以使用MWETokenizer，例如：

>>> from nltk.tokenize import MWETokenizer
>>> from nltk import sent_tokenize, word_tokenize

>>> s = '''Good muffins cost $3.88\nin New York.  Please buy me
...     ... two of them.\n\nThanks.'''

>>> mwe = MWETokenizer([('New', 'York'), ('Hong', 'Kong')], separator='_')


>>> [mwe.tokenize(word_tokenize(sent)) for sent in sent_tokenize(s)]
[['Good', 'muffins', 'cost', '$', '3.88', 'in', 'New_York', '.'], ['Please', 'buy', 'me', '...', 'two', 'of', 'them', '.'], ['Thanks', '.']]