Python集合之间的差异。计数器和nltk。可能性频差

Question

我想计算文本语料库中单词的词频。我一直在使用NLTK的word_tokenize，后跟概率。FreqDist一段时间来完成这项工作。单词_tokenize返回一个列表，该列表由FreqDist转换为频率分布。然而，我最近在collections（collections.Counter）中遇到了计数器函数，它似乎在做完全相同的事情。FreqDist和Counter都有一个最常用（n）函数，返回n个最常用的字。有人知道这两者之间有什么不同吗？一个比另一个快吗？是否存在一个可行，另一个不可行的情况？

Answer 1

nltk。可能性FreqDist是集合的一个子类。计数器。

从文档中：

实验结果的频率分布。频率分布记录实验结果发生的次数。例如，频率分布可用于记录文档中每个单词类型的频率。形式上，频率分布可以定义为从每个样本到样本作为结果出现的次数的函数映射。

继承是从代码中显式显示的，本质上，计数器和FreqDist的初始化方式没有区别，请参阅https://github.com/nltk/nltk/blob/develop/nltk/probability.py#L106

因此，从速度上来说，创建计数器和FreqDist应该是相同的。速度上的差异应该是微不足道的，但值得注意的是，管理费用可能是：

• 在解释器中定义类时，在中编译类
• 鸭子打字的成本__初始化（）

主要的区别是FreqDist为统计/概率自然语言处理（NLP）提供的各种函数，例如查找hapax。FreqDist扩展的函数的完整列表如下：

>>> from collections import Counter
>>> from nltk import FreqDist
>>> x = FreqDist()
>>> y = Counter()
>>> set(dir(x)).difference(set(dir(y)))
set(['plot', 'hapaxes', '_cumulative_frequencies', 'r_Nr', 'pprint', 'N', 'unicode_repr', 'B', 'tabulate', 'pformat', 'max', 'Nr', 'freq', '__unicode__'])

当涉及到使用FreqDist.most_common（）时，它实际上是使用计数器中的父函数，因此检索排序的most_common列表的速度对于两种类型都是相同的。

就我个人而言，当我只想检索计数时，我会使用集合。计数器.但是当我需要做一些统计操作时，我要么使用nltk。FreqDist或者我会将计数器转储到熊猫中。DataFrame（请参阅将计数器对象转换为熊猫DataFrame）。