如何自动标记整个索引？

Question

我想在整个Elasticsearch索引上自动应用n-gram标记化。

文档提到最终运行分析以应用标记器，但分析器似乎需要显式字符串输入才能工作。

问题：我如何告诉ES“分析整个索引”（即扫描并标记所有内容）？

上下文：我有一些ES索引，主要来自简单帖子（例如广告、事件、用户配置文件）的MYSQL数据库，但一些索引也是JSON中固定的预定义术语列表（例如200个品牌、400个标签、20个类别等），几乎不会更改。在任何情况下，内容都很简单；没有大规模的文章，我不索引段落。我正在尝试从我的应用程序的搜索栏中构建智能的自动完成和建议，只想对现有和固定内容进行预分析。最终，当用户有更多动态的“大数据”时，我将整合分析。

相关链接：

https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-update-settings.html#update-设置分析

https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-edgengram-tokenizer.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-custom-analyzer.html

尝试：

在这里，我在索引上设置了一个标记器：

// Close the particular index first
POST /my-index-000001/_close

// Apply new settings: tokenizer defined and included in an analyzer
PUT /my-index-000001/_settings
{
  "analysis": {
    "analyzer": {
      "my_analyzer": {
        "tokenizer": "my_tokenizer"
      }
    },
    "tokenizer": {
      "my_tokenizer": {
        "type": "edge_ngram",
        "min_gram": 2,
        "max_gram": 10,
        "token_chars": [
          "letter",
          "digit"
        ]
      }
    }
  }
}

// Re-open the index
POST /my-index-000001/_open

此时还没有发生任何事情。我必须在索引上运行分析器......但是分析器需要显式字符串输入。相反，我只想在当前存储在索引中的所有内容上运行它。

POST /my-index-000001/_analyze
{
  "analyzer": "my_analyzer",

  // Is there a way to just apply it to the entire index?
  "text": "The cat is black"
}

更新：

根据Opster的回答，这里有一个经过调整的脚本。如前所述，重新编制索引有几种可能性。我确实成功地使用了索引复制方法，但是我忘了我在我的项目中也设置了一个重新索引脚本，这非常方便。

PUT /my-index-000001/_settings
{
  "analysis": {
    "analyzer": {
      "my_analyzer": {
        "tokenizer": "my_tokenizer"
      },
      "default": {
          "tokenizer": "my_tokenizer"
      }
    },
    "tokenizer": {
      "my_tokenizer": {
        "type": "ngram",
        "min_gram": 2,
        "max_gram": 10,
        "token_chars": [
          "letter",
          "digit"
        ]
      }
    }
  }
}

Answer 1

如果我没弄错的话，你有一个现有的索引，你想在所有字段上应用新的标记器，你刚才做的是定义你的自定义分析器，它在你的索引设置中使用边缘标记器，并期望所有字段都开始使用它，这是一个错误的假设

1. 更改字段的analyzer是一个突破性的更改，您必须根据新的analyzer再次重新索引所有文档以拥有令牌
2. 您没有在字段上定义analyzer，也没有将新analyzer定义为索引的默认analyzer，因此它永远不会影响任何字段

解决方案

1. 首先，您需要将新分析器定义为默认分析器，如本官方示例所示。
2. 现在为了反映更改，您有两个选项，要么从您的真实来源（即mysql）再次更新所有索引，要么如果您在旧ES索引中启用了_source字段，请使用reindex API从旧ES索引创建新索引，这将是更容易、更快和推荐的重新索引数据的方式。