Lucene搜索后，获取文档中所有匹配单词的字符偏移量？（不仅仅是预览片段）

Question

我正在使用lucene为大量HTML文档创建一个搜索引擎。

我知道我可以使用PostingsHighlight和朋友来展示片段，用粗体字，类似于谷歌搜索结果，也类似于这个随机的基于Lucene的例子。

然而，与这些例子不同，我需要一个解决方案，即使在用户打开匹配的文档之后，也能保留突出显示的单词，类似于Google Books。

有些单词以

一旦用户打开生成的文档，我希望可以使用lucene获得文档中每个匹配单词的字符偏移量。

我必须将纯文本中的偏移量交叉引用回原始HTML，并编写代码突出显示

<代码>

我怎样才能从露西那里得到我需要的东西？当然，我不必为这“最后一英寸”写我自己的搜索？




Answer 1

好的，我想出了一个可以开始的方法。：）

索引：

StandardAnalyzer analyzer - new StandardAnalyzer()
Directory index = FSDirectory.open(new File("...").toPath());
IndexWriterConfig config = new IndexWriterConfig(analyzer);
addDoc(writer, "...", "...");
addDoc(writer, "...", "...");
addDoc(writer, "...", "...");
// documents need to be read from the data source..
// only add once, or else your docs will be duplicated as you continue to use the system
writer.close();

指定要存储以突出显示的偏移量

private static final FieldType typeOffsets;
static {
    typeOffsets = new FieldType(textField.TYPE_STORED);
    typeOffsets.setIndexOptions(IndexOptions.DOCS_AND_FREQS_AND_POSITIONS_AND_OFFSETS);
}

方法addDoc

void addDoc(IndexWriter writer, String title, String body) {
  Document doc = new Document();
  doc.add(new Field("title", body, typeOffsets));
  doc.add(new Field("body", body, typeOffsets));
  // you can also add an store a TextField that does not have offsets,
  // like a file ID that you wouldn't search on, just need to reference original doc.
  writer.addDocument(doc);
}

执行第一次搜索

String q = "...";
String[] fields = new String[] {"title", "body"};
QueryParser parser = new MultiFieldQueryParser(fields, analyzer)
Query query = parser.parse(q)
IndexSearcher searcher = new IndexSearcher(DirectoryReader.open(index));
PostingsHighlighter highlighter = new PostingsHighlighter();
TopDocs topDocs = searcher.search(query, 10, Sort.RELEVANCE);

使用highlighter.highlightFields（字段，查询，搜索器，topDocs）获取高亮显示的片段。您可以迭代结果。

当您想突出显示最终文档时（即在搜索完成并用户选择结果后），请使用此解决方案（需要进行小编辑）。它通过使用NullFragmenter将整个内容转换为一个片段。

public static String highlight(String pText, String pQuery) throws Exception
{
    Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_30);
    QueryParser parser = new QueryParser(Version.LUCENE_30, "", analyzer);
    Highlighter highlighter = new Highlighter(new QueryScorer(parser.parse(pQuery)));
    highlighter.setTextFragmenter(new NullFragmenter());

    String text = highlighter.getBestFragment(analyzer, "", pText);

    if (text != null)
    {
        return text;
    }
    return pText;    
}

编辑：您实际上可以在最后一步中使用PostingHighlighter，而不是Highlighter，但您必须重写getBreakIterator，然后重写BreakIterator，使其认为整个文档是一个句子。

编辑：您可以覆盖getFormatter来捕获偏移量，而不是试图解析