如何从Lucene TokenStream获取令牌？

Question

我正在尝试使用Apache Lucene进行令牌化，但我对从中获取令牌的过程感到困惑TokenStream。

最糟糕的是，我正在查看JavaDocs中解决我的问题的注释。

http://lucene.apache.org/java/3_0_1/api/core/org/apache/lucene/analysis/TokenStream.html#incrementToken%28%29

不知何故，AttributeSource应该使用an 而不是Tokens。我完全不知所措。

谁能解释如何从TokenStream获得类似令牌的信息？

Answer 1

是的，这有点令人费解（与好的方式相比），但是应该这样做：

TokenStream tokenStream = analyzer.tokenStream(fieldName, reader);
OffsetAttribute offsetAttribute = tokenStream.getAttribute(OffsetAttribute.class);
TermAttribute termAttribute = tokenStream.getAttribute(TermAttribute.class);

while (tokenStream.incrementToken()) {
    int startOffset = offsetAttribute.startOffset();
    int endOffset = offsetAttribute.endOffset();
    String term = termAttribute.term();
}

编辑： 新 方法

根据Donotello的说法，TermAttribute已弃用CharTermAttribute。根据jpountz（和Lucene的文档），addAttribute比更为可取getAttribute。

TokenStream tokenStream = analyzer.tokenStream(fieldName, reader);
OffsetAttribute offsetAttribute = tokenStream.addAttribute(OffsetAttribute.class);
CharTermAttribute charTermAttribute = tokenStream.addAttribute(CharTermAttribute.class);

tokenStream.reset();
while (tokenStream.incrementToken()) {
    int startOffset = offsetAttribute.startOffset();
    int endOffset = offsetAttribute.endOffset();
    String term = charTermAttribute.toString();
}