与Lucene的余弦相似性仅适用于匹配的文档

Question

Lucene是一个反向索引系统，据我所知，它的强大之处在于它只会将查询与至少匹配令牌的文档进行比较。

与将查询与每个文档进行比较的简单方法相比（即使是那些没有提到查询中存在的任何标记的文档），这是一个很大的好处。

例如，如果我有索引文档：

D1: "Hello world said the guy"
D2: "Hello, what a beautiful world"
D3: "random text"

在我看来，搜索查询：“你好世界”，只会查看索引文档D1和D2，并跳过D3，这节省了时间。

这样做正确吗？

现在，我试图计算文档之间的余弦相似度。输入查询将是一个文档，输出应该是余弦分数。这是一个介于0和1之间的数字。

我已经读过一些计算余弦相似性的方法，但它们都是通过比较每个文档的术语向量来实现的。例如，这篇博客提到了以下内容：

如果确实需要文档之间的余弦相似性，则必须为源字段启用术语向量，并使用它们来计算角度。问题是，这不能很好地缩放，您需要使用几乎所有其他文档计算角度。

所以答案似乎是一样的：

有没有办法只计算与查询匹配的文档的余弦相似性，并将其作为文档的分数返回？

作为旁注，我确实读到了TFIDF的相似性很接近，我相信VSM部分正是我所需要的，然而这部分似乎已经消失在Lucene实用评分函数中。我不确定如何才能“转换”这个相似性类，最终只得到纯余弦相似性。

下面是我问题的总结：

>

我对反向索引如何节省时间的看法正确吗？

有没有办法只计算实际匹配其中一个标记的文档的余弦相似性，而不是计算所有文档的余弦相似性？

Answer 1

这在很大程度上取决于您如何制定查询。如果您制定了布尔查询，您可以指定查询的哪些术语必须在返回的文档中。这是使用布尔子句完成的。发生。必须。

您可以通过扩展TFIDF相似性来编写自己的相似性，但是您可能注意到Lucene实用评分是基于余弦相似性的。在这个公式中，queryNorm（q）和范数（t，d）构成余弦相似性的分母，求和是查询向量和文档向量的点积。

提示：您可以形成一个示例查询，并使用explain（）查看评分的详细信息。