如何在Elasticsearch 5.0.0中使用ingest-attachment插件索引pdf文件？

Question

我是Elasticsearch的新手，我在https://www.elastic.co/guide/en/Elasticsearch/plugins/master/mapper-attachments.html读到emapper-attachments插件在Elasticsearch 5.0.0中是不推荐的。

curl -H 'Content-Type: application/pdf' -XPOST localhost:9200/test/1 -d @/cygdrive/c/test/test.pdf

{"error":{"root_cause":[{"type":"mapper_parsing_exception","reason":"failed to parse"}],"type":"mapper_parsing_exception","reason":"failed to parse","caused_by":{"type":"not_x_content_exception","reason":"Compressor detection can only be called on some xcontent bytes or compressed xcontent bytes"}},"status":400}

我希望pdf文件将被索引和上传。我做错了什么？

我也测试了Elasticsearch 2.3.3，但是映射器附件插件对这个版本无效，我不想使用任何旧版本的Elasticsearch。

Answer 1

您需要确保已经使用以下命令创建了摄取管道：

PUT _ingest/pipeline/attachment
{
  "description" : "Extract attachment information",
  "processors" : [
    {
      "attachment" : {
        "field" : "data",
        "indexed_chars" : -1
      }
    }
  ]
}

然后，可以使用创建的管道对索引进行PUT not POST。

PUT my_index/my_type/my_id?pipeline=attachment
{
  "data": "e1xydGYxXGFuc2kNCkxvcmVtIGlwc3VtIGRvbG9yIHNpdCBhbWV0DQpccGFyIH0="
}

在您的示例中，应该类似于：

curl -H 'Content-Type: application/pdf' -XPUT localhost:9200/test/1?pipeline=attachment -d @/cygdrive/c/test/test.pdf

弹性摄食

摄取插件

摄取呈现

./bin/elasticsearch-plugin install ingest-attachment

映射应该是这样的：

PUT my_index
{ 
    "mappings" : { 
        "my_type" : { 
            "properties" : { 
                "attachment.data" : { 
                    "type": "text", 
                    "analyzer" : "brazilian" 
                } 
            } 
        } 
    } 
}

在这种情况下，我使用巴西过滤器，但您可以删除它或使用您自己的过滤器。