利用NLTK导入外部树库式BLLIP语料库

Question

第二部分很简单，它用命令corpus_name.sents()完成。这是我不知道如何接近的任务的第一部分。

欢迎所有的建议。我还特别欢迎提出建议，提出替代性的、更有效的办法，以取代我心目中的办法。

更新：

(S (NP (DT the) (JJ little) (NN dog)) (VP (VBD barked)))

(S (NP-SBJ (-NONE- *-0))
  (VP (TO to)
   (VP (VB sell)
    (NP (NP (PRP$#0 its) (NN TV) (NN station))
     (NN advertising)
     (NN representation)
     (NN operation)
     (CC and)
     (NN program)
     (NN production)
     (NN unit))

Answer 1

你链接到的问题只是有点误导。实际上，该代码示例只读取一个文件，但nltk的语料库阅读器界面是为读取大型文件集合而设计的。reader构造函数的必需参数是到语料库的基文件夹的路径和一个regexp（一个普通的，不是“glob”），该regexp匹配所有应该读入的文件名。所以只需通过添加适当的regexp来调整问题的答案。（如果语料库与BracketParsecorpusReader默认值不匹配，还可以添加格式选项。）例如：

from nltk.corpus.reader import BracketParseCorpusReader
reader = BracketParseCorpusReader('path/to/bllip_87_89_wsj', r'.*/w\d_.*')

这将匹配任何子文件夹中名称以w _ 开头的任何文件。如果您碰巧有与此模式匹配但必须排除的文件（例如:w7_001.001-old)，您可以锐化上面的正则表达式。

您可以使用这个语料库阅读器，就像使用与NLTK一起分发的解析语料库一样。请注意，由于您有数百万个文件，因此应该避免构造语句列表（甚至是文件名列表）。Reader的方法返回“视图”，这是一种特殊的对象，允许您迭代并索引到结果中，而不必将整个结果列表加载到内存中。