检索仅包含允许标签的文档（完全相等）

Question

对于每个搜索请求，我都允许标签列表。例如，

["search", "open_source", "freeware", "linux"]

我想检索列表中所有标签的文档。我想找回：

{
    "tags": ["search", "freeware"]
}

并排除

{
    "tags": ["search", "windows"]
}

因为列表不包含windows标签。

在Elasticsearch留档中有一个恰好等于的示例：

https://www.elastic.co/guide/en/elasticsearch/guide/current/_finding_multiple_exact_values.html

首先，我们包含一个字段，用于维护标签的数量：

{ "tags" : ["search"], "tag_count" : 1 }
{ "tags" : ["search", "open_source"], "tag_count" : 2 }

其次，我们检索所需的tag_count

GET /my_index/my_type/_search
{
    "query": {
        "filtered" : {
            "filter" : {
                 "bool" : {
                    "must" : [
                        { "term" : { "tags" : "search" } }, 
                        { "term" : { "tags" : "open_source" } }, 
                        { "term" : { "tag_count" : 2 } } 
                    ]
                }
            }
        }
    }
}

问题是我不知道tag_count。

此外，我还尝试使用script\u字段tags\u count，在术语查询中写入每个允许的标记，并将minimal\u should\u match设置为tags\u count，但我无法在minimal\u should\u match中设置脚本变量。

我能调查什么？

Answer 1

为什么不在windows被添加到must not子句时使用bool呢。我希望这就是你想要的。

Answer 2

如果索引大小为中等大小，标记基数相当低，我只会使用术语聚合来获得不同的标记，并创建必须和不得过滤器来过滤掉包含“不允许”的标记的文档。有很多方法可以将所有标签的列表缓存到内存数据库中，比如Redis，我想到了以下几个方法：

1. 有几分钟或几小时的生存时间，如果缓存已过期，请重新生成列表

一种更高效、100%准确的方法可能是这样的：

1. 查询所有具有所需标签但不包括具有已知其他标签的文档（与第一个解决方案相同）
2. 查看退回文件列表
3. 如果一个文档包含一个“不允许”的标记，这意味着它不在已知标记缓存中，因此必须添加到那里，将该文档从结果集中排除
4. Redis上的标签可以有一个TTL，比如一天或一周，这样旧标签就会被自动删除，你可以得到更简单的ES查询

这样，您就不需要备份进程来维护标签列表或使用可能很重的术语聚合，因为它会访问所有文档，并且始终获得正确的结果集和性能相当好的查询。

如果使用后续聚合，这将不起作用，因为ES可能返回错误的文档，这些文档在客户端被删减。但是，也可以通过添加术语聚合来检测，并确认它没有意外的标记。如果确实需要添加到标记缓存中，则添加到必须_not过滤器中，并且必须重新执行查询。如果频繁创建新标记，这并不理想。

Answer 3

所以我承认这不是一个很好的解决方案，但也许它会激发其他更好的解决方案？

给定您正在搜索的部分记录看起来像您在帖子中的tag_count字段：

"tags" : ["search"],
"tag_count" : 1

或

"tags" : ["search", "open_source"],
"tag_count" : 2

你有这样一个问题：

["search", "open_source", "freeware"]

然后，您可以通过编程方式生成如下查询：

{
    "query" : {
        "bool" : {
            "should" : [
                {
                    "bool" : {
                        "should" : [
                            { "term" : { "tags" : "search" } },
                            { "term" : { "tags" : "open_source" } },
                            { "term" : { "tags" : "freeware" } },
                            { "term" : { "tag_count" : 1 } },
                        ],
                        "minimum_should_match" : 2
                    }
                },
                {
                    "bool" : {
                        "should" : [
                            { "term" : { "tags" : "search" } },
                            { "term" : { "tags" : "open_source" } },
                            { "term" : { "tags" : "freeware" } },
                            { "term" : { "tag_count" : 2 } },
                        ],
                        "minimum_should_match" : 3
                    }
                },
                {
                    "bool" : {
                        "should" : [
                            { "term" : { "tags" : "search" } },
                            { "term" : { "tags" : "open_source" } },
                            { "term" : { "tags" : "freeware" } },
                            { "term" : { "tag_count" : 3 } },
                        ],
                        "minimum_should_match" : 4
                    }
                }
            ],
            "minimum_should_match" : 1
        }
    }
}

嵌套bool查询的数量将与查询标记的数量匹配（出于许多原因，这不是很好——但是对于较小的查询/较小的索引，可能可以解决这个问题？）。基本上，每一个子句都会处理每一个可能的tag_count情况，最小的应匹配的是tag_count 1（因此匹配tag_count和适当的tag数量-tag_count amount）。