在NLTK和Python中创建自定义分类语料库

Question

我遇到了一个与正则表达式和CategorizedPlaintextCorpusReaderPython有关的问题。

我想创建一个自定义分类语料库，并在其上训练一个朴素贝叶斯分类器。我的问题如下：我想有两个类别，“ pos”和“
neg”。正文件全部位于一个目录中main_dir/pos/*.txt，而负文件均位于单独的目录中main_dir/neg/*.txt。

如何使用CategorizedPlaintextCorpusReader加载并标记pos目录中的所有肯定文件，并对否定文件执行相同的操作？

注意：设置与Movie_reviews语料库（~nltk_data\corpora\movie_reviews）完全相同。

Answer 1

这是我的问题的答案。由于我一直在考虑使用两种情况，因此我认为最好覆盖两种情况，以防将来有人需要答案。如果您具有与movie_review语料库相同的设置-
多个标签以相同的方式标记，则您希望调用标签并包含训练数据，则可以使用此文件夹。

reader = CategorizedPlaintextCorpusReader('~/MainFolder/', r'.*\.txt', cat_pattern=r'(\w+)/*')

我正在考虑的另一种方法是将所有内容放在一个文件夹中，并命名文件0_neg.txt，0_pos.txt，1_neg.txt等。您的阅读器代码应类似于：

reader = CategorizedPlaintextCorpusReader('~/MainFolder/', r'.*\.txt', cat_pattern=r'\d+_(\w+)\.txt')

我希望这会在将来对某人有所帮助。