索引/将大型JSON文件导入Elasticsearch（>10GB）并添加过滤器

Question

我是python和弹性搜索的新手，我想将一个14GB的JSON文件导入Elasticsearch，如下所示：

{
  "_score": 1.0,
  "_index": "newsvit",
  "_source": {
    "content": "   \u0628\u0647 \u06af\u0632\u0627\u0631\u0634 \u0627\u06cc\u0631\u0646\u0627\u060c \u062a\u06cc\u0645 \u0647\u0627\u06cc \u062a\u0631\u0627\u06a9\u062a\u0648\u0631\u0633\u0627\u0632\u06cc ",
    "title": "\u0641\u06cc\u0646\u0627\u0644 \u062c\u0627\u0645 \u062d\u0630\u0641\u06cc\u061b \u0648\u062f\u0627\u0639 \u0627\u0644\u0628\u0631\u0632 \u062d\u0627\u062c\u06cc \u067e\u0648\u063",

    "lead": "\u062a\u0647\u0631\u0627\u0646 - \u0627\u06cc\u0631\u0646\u0627 - \u062f\u06cc\u062f\u0627\u0631 \u067e\u0627\u06cc\u0627\u0646\u06cc \u062c\u0627\u0645 f.",
    "agency": "36",
    "date_created": 1494521741,
    "url": "http://www.irna.ir/fa/News/82525960/",
    "image": "uploads/2017/05/11/2561366787.jpg",
    "category": "5"
  },
  "_type": "news",
  "_id": "2981938"
}

我想用logstash导入这个文件，但是我现在有两个问题:

1)

我写了这个. conf文件来导入它：

input {
    file {
        start_position => "beginning"
        path => "E:/git/consemsearch/ferdowsi-data.json"
        sincedb_path => "NULL"
    }
}
filter {
   json {
       source => "message"
   }
}
output {
    elasticsearch {
         hosts => "http://localhost:9200"
        index => "news_data"
    }
    stdout { }
}

但是它没有添加我想要的过滤器。我希望能够在Elasticsearch/Kibana中按_source和_id中的项目过滤它。我如何编写正确的. conf？

2） 此文件非常大，使用 logstash 导入需要太长时间。有没有更快的导入方法？

Answer 1

要从输入到输出“过滤”数据，您可以使用“丢弃”过滤器:

filter {
      if [category] == "old category" {
        drop { }
      }
    }

关于性能。这在很大程度上取决于您的硬件。在您的示例中，所有内容都在本地主机上。您正在尝试读取14gb的数据并将其插入同一HDD。您的HDD IO可能是这里的瓶颈。但它可以来自RAM或其他东西。

如果您的系统能够管理它，则可以在 logstash 端添加工作线程或增加批大小。在 elasticseach 端，应首先禁用副本，并在引入第一个数据集时增加index.refresh_interval。

关于html" target="_blank">优化：https://www.elastic.co/guide/en/elasticsearch/reference/master/tune-for-indexing-speed.html