用于连接令牌的Solr自定义筛选器

Question

我需要为solr分析器阶段编写一个自定义过滤器。这个想法是首先用空格标记输入的业务名称，然后应用一组过滤器来进行小写、模式替换和删除停止词。在这些筛选之后，我希望将所有令牌合并（串联）到一个令牌中，然后应用NGramFilterFactory从令牌生成n个Grams。

我想要组合所有的令牌（最初从业务名称生成）的原因是，我不会错过solr中索引的令牌（在NGramFilter中长度小于N)，而且用户在输入业务名称时可能没有插入适当的空格。请让我知道更多的澄清。

我试图为相同的自定义过滤器编写一个，但这是不正常的工作，我能够理解它的行为。

当我查询名称“Apple”时，它会返回n1个结果。

当我查询名称“computers”时，它返回n2个结果。

java prettyprint-override">public class ConcatFilter extends TokenFilter {

private CharTermAttribute charTermAtt;
private StringBuilder builder = new StringBuilder();

public ConcatFilter(TokenStream input)
{
    super(input);
    charTermAtt = addAttribute(CharTermAttribute.class);
}

@Override
public boolean incrementToken()  throws IOException  {

    if(input.incrementToken()) {
        int len = charTermAtt.length();
        char buffer[] = charTermAtt.buffer();
        builder.append(buffer, 0, len);
        char[] newBuffer = builder.toString().toCharArray();
        int newLength = builder.length();
        charTermAtt.setEmpty();
        charTermAtt.copyBuffer(newBuffer, 0, newLength);
        charTermAtt.setLength(newLength);
        return true;
    } else {
        builder.delete(0, builder.length());
        return false;
        }
    }
}

Answer 1

我已经编写了连接单词过滤器，并将补丁提交到solr社区。任何面临同样问题的人都可以在这里找到它：ConcatenateWordsFilter