Lucene从3.5升级到4.10-如何处理Java API更改

Question

我目前正在将一个搜索引擎应用程序从Lucene 3.5.0升级到4.10.3版本。版本4中有一些实质性的API更改破坏了向后兼容性。我已经设法解决了其中的大部分问题，但仍有几个问题需要一些帮助：

null

@Override
public TokenStream tokenStream(String fieldName, Reader reader) {
    CharStream charStream = CharReader.get(reader);        
    return
        new LowerCaseFilter(version,
            new SeparationFilter(version,
                new WhitespaceTokenizer(version,
                    new HTMLStripFilter(charStream))));
}

上面引用的方法还有一个问题：

这里似乎也发生了一些相当大的变化。

这门课在Lucene4中已经消失了。有什么简单的解决办法吗？从更改日志中：

TermPositionVector termVector = (TermPositionVector) reader.getTermFreqVector(...);

Answer 1

我在Lucene邮件列表中找到了核心开发人员Uwe Schindler对您问题的回应。我花了一些时间来考虑新的API，所以我需要在忘记之前写下一些东西。

这些注意事项适用于Lucene 4.10.3。

new Analyzer() {
    @Override
    protected TokenStreamComponents createComponents(String fieldName, Reader reader) {
        Tokenizer source = new WhitespaceTokenizer(new HTMLStripCharFilter(reader));
        TokenStream sink = new LowerCaseFilter(source);
        return new TokenStreamComponents(source, sink);
    }
};

1. TokenStreamComponents的构造函数接受源和接收器。接收器是标记流的最终结果，由analyzer.tokenstream()返回，因此将其设置为筛选器链。源是应用任何筛选器之前的令牌流。
2. HtmlStripCharfilter，尽管它的名字是，实际上是java.io.Reader的一个子类，它删除了HTML构造，所以您不再需要CharReader.

Document doc = new Document();
FieldType f = new FieldType();
f.setIndexed(true);
f.setStoreTermVectors(true);
f.setStoreTermVectorPositions(true);
doc.add(new Field("text", "hello", f));

最后，为了获得文档字段的频率和位置信息，您可以像下面这样深入研究新API（根据下面的答案改编）：

// IndexReader ir;
// int docID = 0;
Terms terms = ir.getTermVector(docID, "text");
terms.hasPositions(); // should be true if you set the field to store positions
TermsEnum termsEnum = terms.iterator(null);
BytesRef term = null;
// Explore the terms for this field
while ((term = termsEnum.next()) != null) {
    // Enumerate through documents, in this case only one
    DocsAndPositionsEnum docsEnum = termsEnum.docsAndPositions(null, null);
    int docIdEnum;
    while ((docIdEnum = docsEnum.nextDoc()) != DocIdSetIterator.NO_MORE_DOCS) {
        for (int i = 0; i < docsEnum.freq(); i++) {
            System.out.println(term.utf8ToString() + " " + docIdEnum + " "
                    + docsEnum.nextPosition());
        }
    }
}

如果terms.iterator()返回一个实际的迭代函数就好了。