如何在Lucene(5.2.1)中结合分析器实例来删除停止词和词干？

Question

我使用的是Lucene最新版本5.2.1。在索引文档时，我希望停止词被删除，之后所有的词都应该保留到它的根词。

有EnglishAnalyzer可用，但词干设置不准确。还有StopAnalyzer可以删除停止字。

Lucene有什么分析器可以同时做这两件事吗？

并且我编写了一个自定义分析器,用于使用KSTEMFilter进行词干处理。如何在自定义分析器中使用现有的StopAnalyzer

Answer 1

是的，将Lucene中的不同分析器组合在一起是可能的。

您应该使用类似这样的内容：

StringReader reader = new StringReader(text);
Tokenizer whitespaceTokenizer = new WhitespaceTokenizer();
whitespaceTokenizer.setReader(reader);
TokenStream tokenStream = new StopFilter(whitespaceTokenizer, StopAnalyzer.ENGLISH_STOP_WORDS_SET);
tokenStream = new PorterStemFilter(tokenStream);

其中text是一个变量，包含要分析的内容。在这里，我结合了空白标记化（可能您可以用更复杂的StandardAnalyzer替换它），然后我用StopFilter删除停止字，稍后在analyzer链中使用PorterStemFilter（它也比简单的EnglishStemmer更好，您也可以用任何您喜欢的TokenFilter替换它）。

完整的示例可在此获得-https://raw.githubusercontent.com/missionrise/information-retrieval-adventure/master/lucene4/src/main/java/org/mystic/stopwordsstemminganalyzer.java