删除在Python语料库中出现超过x%的单词

Question

我正在处理一个以标记/单词列表的形式出现的大型语料库。语料库包含约1900000个单词，我运行了一个代码来获取最频繁的单词，现在语料库有140000个单词。

我想删除出现在文档中超过95%而少于5%的单词

语料库的样本

['problems', 'guess', 'sleep', 'holy']

首先，我找到了最常用的单词

from nltk.probability import FreqDist

corpus_frequency = FreqDist(corpus)

corpus_commom=corpus_frequency.most_common()

然后，我应用这个for循环来查找出现率超过95%的单词列表

most_frequent=[mytuple for mytuple in corpus_commom if mytuple[1]<len(corpus*95)/100]

但这段代码需要很长时间才能运行，并且不会返回任何输出。

我也试图按照一些答案我发现和应用CountVectorzer但我得到一个错误消息

from sklearn.feature_extraction.text import CountVectorizer
cv = CountVectorizer(min_df=0.05, max_df=0.95, lowercase=True) 
X = cv.fit_transform(corpus)

错误消息

ValueError: After pruning, no terms remain. Try a lower min_df or a higher max_df.

使现代化

如果我这样做，计数向量器就会工作

cv = CountVectorizer(corpus,max_df=0.95)
count_vector=cv.fit_transform(corpus)

但它会返回一个数字列表。我希望输出是我的语料库（单词列表）过滤。

有人能给我一个如何实现这一目标的建议吗？谢啦

Answer 1

下面是一些计算列表中每个标记的频率分数的代码。您可以使用分数来执行筛选。

import nltk

def get_frac_dist(token_list):
    '''
    Computes frequency count and fraction of individual words in a list.

    Parameters
    ----------
    token_list : list
        List of all (non-unique) tokens from some corpus

    Returns
    -------
    dict
        Dictionary of { token, (count, fraction) } pairs.
    '''

    token_list = nltk.word_tokenize(content)
    total_token_count = len(token_list)

    freq_dict = nltk.FreqDist(token_list)

    frac_dict = {}
    for token, count in freq_dict.items():
        frac_dict[token] = (count, count / total_token_count)

    return frac_dict

以下是如何使用它：

1. 打开一个文件，用nltk标记它。word_tokenize（），并将令牌列表传递到get\u frac\u dist（）

with open('speech.txt') as f:
    content = f.read()

token_list = nltk.word_tokenize(content)
frac_dist = get_frac_dist(token_list)

i = 0
for k, v in frac_dist.items():

    i += 1
    if i > 10:
        break

    token = k
    count = v[0]
    frac = v[1]
    print('%-20s: %5d, %0.5f' % (token, count, frac))

打印出：

President           :     2, 0.00081
Pitzer              :     1, 0.00040
,                   :   162, 0.06535
Mr.                 :     3, 0.00121
Vice                :     1, 0.00040
Governor            :     1, 0.00040
Congressman         :     2, 0.00081
Thomas              :     1, 0.00040
Senator             :     1, 0.00040
Wiley               :     1, 0.00040

l = [ (k, v[0], v[1]) for k, v in frac_dist.items() if v[1] > 0.04 ]
print(l)

打印出：

[(',', 162, 0.0653489310205728), ('and', 104, 0.04195240016135539), ('the', 115, 0.0463896732553449)]

请注意，您希望获得95%以上出现的单词的愿望可能不会返回任何有效答案。你应该画出单词的分布图，看看它们的数量是多少。

Answer 2

正如错误提示的那样，转换后没有术语剩余。也就是说，每个单词出现的比例大于95%或小于5%。例如：

corpus = ['This is a good sentence',
          'This is a good sentence',
          'This is a good sentence',
          'This is a good sentence',
          'This is a good sentence']
cv = CountVectorizer(min_df=0.05, max_df=0.95) 
X = cv.fit_transform(corpus)

将引发相同的错误。但当你的语料库有1900000个单词时，这就没有意义了。也许您可以检查您的语料库是否是CountVectorizer的有效参数。请参阅中的更多详细信息https://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text.CountVectorizer.html .