识别特定方言中的一般短语

Question

我正在寻找一种算法或方法，可以帮助从具有特定方言的文本语料库中识别一般短语（它来自特定领域，但对于我来说是英语方言）——例如，以下片段可能来自与世界或魔兽或MMORPHs相关的更大语料库。

玩家以第三人称或第一人称视图控制游戏世界中的角色化身，探索地形，与各种怪物战斗，完成任务，并与非玩家角色（NPC）或其他玩家互动。同样与其他MMORPG类似，《魔兽世界》要求玩家支付订阅费，或者购买预付游戏卡，支付一定的游戏时间，或者使用信用卡或借记卡定期支付

作为以上内容的输出，我想确定以下一般短语：

1. 第一人称
2. 魔兽世界
3. 预付游戏卡
4. 借记卡

笔记：

>

这里和这里有一个类似于我之前的问题，但为了澄清，我的问题有以下区别：

一种。我正在尝试使用现有的工具包，例如NLTK、OpenNLP等。

B.我对识别句子中的其他词性不感兴趣

C.我可以使用人工干预，其中算法将识别的名词短语呈现给人类专家，然后人类专家可以确认或拒绝调查结果，但是我们没有资源来训练人工注释数据上的语言模型

Answer 1

似乎您正在尝试进行名词短语提取。TextBlob Python库包括两个现成的名词短语提取实现。

最简单的方法是使用默认的FastNPExtractor，它基于此处描述的Shlomi Babluki算法。

from text.blob import TextBlob

text = '''
players control a character avatar within a game world in third person or first
person view, exploring the landscape, fighting various monsters, completing quests,
and interacting with non-player characters (NPCs) or other players. Also similar
to other MMORPGs, World of Warcraft requires the player to pay for a
subscription, either by buying prepaid game cards for a selected amount of
playing time, or by using a credit or debit card to pay on a regular basis
'''

blob = TextBlob(text)
print(blob.noun_phrases)  # ['players control', 'character avatar' ...]

换成另一个实现（基于NLTK的chunker）相当容易。

from text.np_extractors import ConllExtractor

blob = TextBlob(text, np_extractor=ConllExtractor())

print(blob.noun_phrases)  # ['character avatar', 'game world' ...]

如果这两个都不够，您可以创建自己的名词短语提取器类。我建议查看TextBlobnp_extractor模块源代码以获取示例。要更好地理解名词短语组块，请查看NLTK书籍第7章。

Answer 2

Nltk内置了词性标注，已被证明非常擅长识别未知单词。这就是说，你似乎误解了名词是什么，你可能应该巩固你对这两个词类的理解，以及你的问题。

例如，在第一人称中，first是一个形容词。您可以自动假设相关形容词是该短语的一部分。

或者，如果你想要识别一般短语，我的建议是实现一个简单的马尔可夫链模型，然后寻找特别高的转移概率。

如果您正在寻找Python中的马尔可夫链实现，我会向您指出我在当天写的要点：https://gist.github.com/Slater-Victoroff/6227656

如果你想获得比这更高的水平，你将很快进入论文领域。我希望这能有所帮助。

P.S.Nltk包含大量预注释的小体，可能适用于您的目的。