我们可以在语音索引中使用spanneQuery吗？

Question

我已经实现了一个基于lucene的软件来索引超过1000万的人名，这些人名可以用不同的方式书写，比如“Luíz”和“Luis”。索引是使用各个标记的语音值创建的（创建了一个自定义分析器）。

目前，我正在使用QueryParser查询一个给定的名称，结果很好。但是，在《Lucene in Action》一书中提到，SpanarQuery可以使用标记的接近性来改进我的查询。我对名称的非拼音索引使用了SpanarQuery，结果比QueryParser要好。

由于我们应该使用用于索引的同一分析器进行查询，我找不到如何同时使用自定义语音分析器和SpanarQuery，或重新措辞：

    how can I use SpanNearQuery on the phonetic index?

提前谢谢。

Answer 1

我的第一个想法是：用slop进行短语查询不会起作用吗？这肯定是最简单的方法：

"term1 term2"~5

这将使用您的语音分析器，并生成带有结果标记的邻近查询。

所以，如果你真的需要在这里使用西班牙查询（也许你正在使用模糊查询或通配符或诸如此类的东西，或者短语查询一直在威胁你，你不想再与之有任何关系），你需要自己进行分析。您可以通过从Analyzer.tokenStream获取TokenStream并迭代分析的令牌来实现这一点。

如果您使用的语音算法每个术语产生一个代码（例如soundex）：

SpanNearQuery.Builder nearBuilder = new SpanNearQuery.Builder("text", true);
nearBuilder.setSlop(4);

TokenStream stream = analyzer.tokenStream("text", queryStringToParse);
stream.addAttribute(CharTermAttribute.class);
stream.reset();
while(stream.incrementToken()) {
    CharTermAttribute token = stream.getAttribute(CharTermAttribute.class);
    nearBuilder.addClause(new SpanTermQuery(new Term("text", token.toString())));
}
Query finalQuery = nearBuilder.build();
stream.close();

如果你使用的是双隐喻，你可以在同一个位置上有1-2个词组，这有点复杂，因为你需要考虑那些位置增量：

SpanNearQuery.Builder nearBuilder = new SpanNearQuery.Builder("text", true);
nearBuilder.setSlop(4);

TokenStream stream = analyzer.tokenStream("text", "through and through");
stream.addAttribute(CharTermAttribute.class);
stream.addAttribute(PositionIncrementAttribute.class);
stream.reset();
String queuedToken = null;
while(stream.incrementToken()) {
    CharTermAttribute token = stream.getAttribute(CharTermAttribute.class);
    PositionIncrementAttribute increment = stream.getAttribute(PositionIncrementAttribute.class);

    if (increment.getPositionIncrement() == 0) {
        nearBuilder.addClause(new SpanOrQuery(
                new SpanTermQuery(new Term("text", queuedToken)),
                new SpanTermQuery(new Term("text", token.toString()))
                ));
        queuedToken = null;
    }
    else if (increment.getPositionIncrement() >= 1 && queuedToken != null) {
        nearBuilder.addClause(new SpanTermQuery(new Term("text", queuedToken)));
        queuedToken = token.toString();
    }
    else {
        queuedToken = token.toString();
    }
}

if (queuedToken != null) {
    nearBuilder.addClause(new SpanTermQuery(new Term("text", queuedToken)));
}

Query finalQuery = nearBuilder.build();
stream.close();