Lucene 4.6在搜索期间将特殊字符作为单词的一部分

Question

我继承了一个使用Lucene 4.6的项目。0以搜索xml文档。

基本上我的问题似乎是这样的：

搜索带有包含"否则授权为此类"的文本字段的文档时，在搜索任何这些单词时返回突出显示的文档，但是如果文本字段包含类似于"[否则授权为此类]"的内容，则仅搜索"授权"返回一个结果。

我猜是因为方括号的缘故，lucene没有把“[否则的话”和“这样的]”看作单词？我不是lucene的专家，即使有文档，我也被困在这个问题上。有没有办法定制一个分析器，将“[”作为单词搜索的一部分？

谢谢

Answer 1

您不需要手动去除坏字符，您应该编写自定义的分析器，它将使用PatternReplaceCharFilter，它可以删除不需要的符号。

此分析器的示例如下所示：

class CustomAnalyzer extends Analyzer {

        @Override
        protected Reader initReader(String fieldName, Reader reader) {
            CharFilter cf = new PatternReplaceCharFilter(Pattern.compile("\\["), "", reader);
            cf = new PatternReplaceCharFilter(Pattern.compile("\\]"), "", cf);
            cf = new PatternReplaceCharFilter(Pattern.compile("\\)"), "", cf);
            cf = new PatternReplaceCharFilter(Pattern.compile("\\("), "", cf);
            return cf;
        }

        @Override
        protected TokenStreamComponents createComponents(String fieldName) {
            final StandardTokenizer analyzer = new StandardTokenizer();
            TokenStream tok = new StandardFilter(analyzer);
            tok = new LowerCaseFilter(tok);
            return new TokenStreamComponents(analyzer, tok);
        }
    }

在这里，我选择仅替换“”符号。

在此索引时间筛选之后，您将能够正常搜索。

代码的完整示例位于此处