Elasticsearch西班牙语词干生成不使用“rojo”颜色

Question

我对ElasticSearch相当陌生。我试图用西班牙语分析输入，但颜色“rojo”（西班牙语中的红色）似乎有问题。

根据词干演示，字符串Polera颜色rojo（红色衬衫）应该词干为Poler颜色roj，Polera roja（红色衬衫）应该是poler roj，使我能够搜索为rojo或roja，并获得两个结果。

我在Kibana的控制台中用以下代码初始化了索引：

PUT /test
{
  "settings": {
    "analysis": {
      "filter": {
        "spanish_stop": {
          "type": "stop",
          "stopwords": "_spanish_"
        },
        "spanish_stemmer": {
          "type": "stemmer",
          "language": "spanish"
        }
      },
      "analyzer": {
        "default_search": {
          "type":"spanish",
          "filter": [
            "lowercase",
            "spanish_stop",
            "spanish_stemmer"
          ]
        }
      }
    }
  },
  "mappings":{
    "properties":{
      "fullname":{
        "type":"text",
        "analyzer":"default_search"
      }
    }
  }
}

并使用以下代码进行了查询：

POST /test/_analyze
{
  "analyzer": "default_search",
  "text": "polera color rojo"
}

我收到的答复如下：

{
  "tokens" : [
    {
      "token" : "poler",
      "start_offset" : 0,
      "end_offset" : 6,
      "type" : "<ALPHANUM>",
      "position" : 0
    },
    {
      "token" : "color",
      "start_offset" : 7,
      "end_offset" : 12,
      "type" : "<ALPHANUM>",
      "position" : 1
    },
    {
      "token" : "rojo",
      "start_offset" : 13,
      "end_offset" : 17,
      "type" : "<ALPHANUM>",
      "position" : 2
    }
  ]
}

正如你所看到的，“polera”被正确地定义为“poler”，但“rojo”不是。我还尝试了其他颜色和东西，添加了更多的文本，等等。但问题似乎与“rojo”有关。

我设法在AWS中的Elasticsearch实例和本地实例中复制了这个问题。它确实适用于复数形式，如“rojas”和“rojos”，将它们保留为“roj”。

也许我配置错了，或者这实际上是Elasticsearch中西班牙语词干的问题？

编辑：似乎问题在于字长？同样的问题也发生在“coma”和“como”上，它们的词干应该是“com”，但不是。如果我把“comas”放进去，它的词干应该是“com”。

Answer 1

看起来像词干类型有一个最小的令牌lengh，我尝试用"rojos"代替"rojo"和词干"roj"。

您可以尝试另一种方法，如雪球词干

PUT /test_spanish
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "standard",
          "filter": [ "lowercase", "my_snow" ]
        }
      },
      "filter": {
        "my_snow": {
          "type": "snowball",
          "language": "Spanish"
        }
      }
    }
  }
}

POST /test_spanish/_analyze
{
  "analyzer": "my_analyzer",
  "text": "polera color rojo"
}

{
  "tokens" : [
    {
      "token" : "poler",
      "start_offset" : 0,
      "end_offset" : 6,
      "type" : "<ALPHANUM>",
      "position" : 0
    },
    {
      "token" : "color",
      "start_offset" : 7,
      "end_offset" : 12,
      "type" : "<ALPHANUM>",
      "position" : 1
    },
    {
      "token" : "roj",
      "start_offset" : 13,
      "end_offset" : 17,
      "type" : "<ALPHANUM>",
      "position" : 2
    }
  ]
}