Elasticsearch：使用关键字标记器索引字段，但不使用stopwords

Question

我正在寻找一种方法来搜索公司名称与关键字标记，但没有停止词。

例如：索引公司名称为“Hansel und Gretel Gmbh”

这里“und”和“Gmbh”是公司名称的停止词。

如果搜索项是"Hansel Gretel"，则应找到该文档；如果搜索项是"Hansel"，则不应找到任何文档。如果搜索词是"hansel gmbh"，也应该找到no文档。

我曾尝试将关键字标记器与自定义分析器中的停止词相结合，但它没有工作（正如预期的那样，我猜）。

我也尝试过使用常用术语查询，但汉塞尔开始击中（再次如预期的那样）

提前谢谢。

Answer 1

有两种方式坏和丑。第一个使用正则表达式来删除停止词和修剪空格。有很多缺点：

• 您必须支持空白符号化（regexp（/s））和特殊符号（。，；）移除您自己的
• 不支持突出显示-关键字令牌不支持
• 案件敏感性也是个问题
• 规范化器（关键字分析器）是实验性的特征-坏的支持，没有特征

下面是一个循序渐进的示例：

curl -XPUT "http://localhost:9200/test" -H 'Content-Type: application/json' -d'
{
  "settings": {
    "analysis": {
      "normalizer": {
        "custom_normalizer": {
          "type": "custom",
          "char_filter": ["stopword_char_filter", "trim_char_filter"],
          "filter": ["lowercase"]
        }
      },
      "char_filter": {
        "stopword_char_filter": {
          "type": "pattern_replace",
          "pattern": "( ?und ?| ?gmbh ?)",
          "replacement": " "
        },
        "trim_char_filter": {
          "type": "pattern_replace",
          "pattern": "(\\s+)$",
          "replacement": ""
        }
      }
    }
  },
  "mappings": {
    "file": {
      "properties": {
        "name": {
          "type": "keyword",
          "normalizer": "custom_normalizer"
        }
      }
    }
  }
}'

现在我们可以检查我们的分析器是如何工作的（请注意，对规范化分析器的请求仅在ES 6. x中支持）

curl -XPOST "http://localhost:9200/test/_analyze" -H 'Content-Type: application/json' -d'
{
  "normalizer": "custom_normalizer",
  "text": "hansel und gretel gmbh"
}'

现在，我们准备为文档编制索引：

curl -XPUT "http://localhost:9200/test/file/1" -H 'Content-Type: application/json' -d'
{
  "name": "hansel und gretel gmbh"
}'

最后一步是搜索：

curl -XGET "http://localhost:9200/test/_search" -H 'Content-Type: application/json' -d'
{
    "query": {
        "match" : {
            "name" : {
                "query" : "hansel gretel"
            }
        }
    }
}'

另一种方法是：

• 使用停止字过滤器创建标准文本分析器
• 使用分析筛选出所有停止词和特殊符号
• 手动连接令牌
• 将术语作为关键字发送到ES

下面是一个循序渐进的示例：

curl -XPUT "http://localhost:9200/test" -H 'Content-Type: application/json' -d'
{
  "settings": {
    "analysis": {
      "analyzer": {
        "custom_analyzer": {
          "type":      "custom",
          "tokenizer": "standard",
          "filter": ["lowercase", "custom_stopwords"]
        }
      }, "filter": {
        "custom_stopwords": {
          "type": "stop",
          "stopwords": ["und", "gmbh"]
        }
      }
    }
  },
  "mappings": {
    "file": {
      "properties": {
        "name": {
          "type": "text",
          "analyzer": "custom_analyzer"
        }
      }
    }
  }
}' 

现在我们准备分析我们的文本：

POST test/_analyze
{
  "analyzer": "custom_analyzer",
  "text": "Hansel und Gretel Gmbh."
}

结果如下：

{
  "tokens": [
    {
      "token": "hansel",
      "start_offset": 0,
      "end_offset": 6,
      "type": "<ALPHANUM>",
      "position": 0
    },
    {
      "token": "gretel",
      "start_offset": 11,
      "end_offset": 17,
      "type": "<ALPHANUM>",
      "position": 2
    }
  ]
}

最后一步是令牌连接：hansel gretel。唯一的缺点是使用自定义代码进行手动分析。