单指标多项频率向量

Question

我有一个应用程序与许多不同的文档类型。每种类型都有自己的语料库，我不希望它们会相互影响。

例如，如果一种类型包含许多项X的出现，那么我不希望这会降低其他类型中X的IDF得分。

我还没有选择任何搜索引擎实现，所以我将欣赏Elasticsearch和/或Solr的答案。

Answer 1

在Elasticsearch中，您需要将每个类型放在单独的索引中，以避免来自一个类型的项向量影响来自另一个类型的项向量。

默认情况下，Elasticsearch为每个新索引分配5个主碎片（其中每个碎片都是Lucene实例）。对于较小的类型，可以只使用一个主碎片创建索引：

curl -XPUT 'http://127.0.0.1:9200/user/?pretty=1'  -d '
{
   "settings" : {
      "number_of_shards" : 1
   }
}
'

关于你关于表现的问题。搜索并行地对每个涉及的碎片进行，因此性能实际上取决于硬件的数量和碎片的大小（当然还有查询的复杂程度）。

但是，您可以尝试的一种方法是在不同类型中使用不同的字段名，例如，不使用User和Product字段name和User_name，而是使用User_name。然后，术语频率将只与该类型中的那个字段相关。doc频率显然会考虑到所有的doc，但是看到这是一个全局效应，它应该不会有什么不同。