NLTK中的实词计数

Question

NLTK书中有几个单词计数的例子，但实际上它们不是单词计数，而是标记计数。例如，第1章“计算词汇”中说，下面给出了一个单词计数：

text = nltk.Text(tokens)
len(text)

然而，它没有-它给出了一个单词和标点符号计数。你怎样才能得到一个真正的字数（忽略标点符号）？

同样，如何获得一个单词中的平均字符数？显而易见的答案是：

word_average_length =(len(string_of_text)/len(text))

但是，这将关闭，因为：

1. len（文本的字符串）是一个字符计数，包括空格

我是不是遗漏了什么？这一定是一个非常常见的NLP任务。。。

Answer 1

使用与dhg相同的解决方案，但测试给定的令牌是否为字母数字，而不是使用正则表达式模式。

from collections import Counter

>>> text = ['this', 'is', 'a', 'sentence', '.']
>>> filtered = [w for w in text if w.isalnum()]
>>> counts = Counter(filtered)
>>> counts
Counter({'this': 1, 'a': 1, 'is': 1, 'sentence': 1})

优点：

• 在非英语语言中工作得更好，因为“”。isalnum（）是True，而bool（nonPunct.match ("à")) 是False（至少在法语中，“à”不是标点符号）.
• 不需要使用re包。

Answer 2

使用正则表达式过滤掉标点符号

import re
from collections import Counter

>>> text = ['this', 'is', 'a', 'sentence', '.']
>>> nonPunct = re.compile('.*[A-Za-z0-9].*')  # must contain a letter or digit
>>> filtered = [w for w in text if nonPunct.match(w)]
>>> counts = Counter(filtered)
>>> counts
Counter({'this': 1, 'a': 1, 'is': 1, 'sentence': 1})

把每个单词的长度加起来。除以字数。

>>> float(sum(map(len, filtered))) / len(filtered)
3.75

或者，您可以利用已经进行的计数来防止重新计算。这将单词的长度乘以我们看到它的次数，然后将所有这些相加。

>>> float(sum(len(w)*c for w,c in counts.iteritems())) / len(filtered)
3.75

Answer 3

nltk标记化

from nltk.tokenize import RegexpTokenizer
tokenizer = RegexpTokenizer(r'\w+')
text = "This is my text. It icludes commas, question marks? and other stuff. Also U.S.."
tokens = tokenizer.tokenize(text)

退换商品

['This', 'is', 'my', 'text', 'It', 'icludes', 'commas', 'question', 'marks', 'and', 'other', 'stuff', 'Also', 'U', 'S']