如何从Lucene的特定字段中获取唯一术语列表？

Question

我有几个领域的大型语料库的索引。这些字段中只有一个包含文本。我需要基于此字段从整个索引中提取唯一单词。有谁知道我如何在Java中使用Lucene做到这一点？

Answer 1

您正在寻找术语向量（字段中所有单词的集合以及每个单词的使用次数，不包括停用词）。您将对索引中的每个文档使用IndexReader的getTermFreqVector（docid，field），并在其中填充HashSet。

替代方法是使用term（）并仅选择您感兴趣的字段的术语：

IndexReader reader = IndexReader.open(index);
TermEnum terms = reader.terms();
Set<String> uniqueTerms = new HashSet<String>();
while (terms.next()) {
        final Term term = terms.term();
        if (term.field().equals("field_name")) {
                uniqueTerms.add(term.text());
        }
}

这不是最佳解决方案，您正在阅读然后丢弃所有其他字段。FieldsLucene
4中有一个类，仅返回单个字段的term（field）。