关于Elasticsearch配置和批量导入的查询

Question

我试图用大约500万记录来设置elasticsearch。每个文档有150千伏对。我在Ubuntu 12.04上使用ES1.2.1,4GB内存和40GB磁盘空间。我已经使用了ES的所有默认配置来创建索引、插入文档等等。

进行此操作时，几个问题是：

1）我能够使用大容量api从JSON文件中插入最大30K记录。我还观察到，对于15-20MB左右的文件大小，它是平滑的。有人能指定大容量导入的原因、上限和最佳大小吗？

2）用于批量api的JSON文件包含数千条记录。所以每次在实际数据之前，我都必须写一行规范。例如，

{“index”：{“_index”：“indexName”，“_type”：“testName”，“_id”：“someValue”}

{“field1”：“value1”，“field2”：“value2”…}

{“index”：{“_index”：“indexName”，“_type”：“testName”，“_id”：“someValue”}

{“field1”：“value1”，“field2”：“value2”…}

{“index”：{“_index”：“indexName”，“_type”：“testName”，“_id”：“someValue”}

{"字段1"："值1"，"字段2"："值2"......}......

这不是很麻烦吗？我的意思是，如果我必须插入100条记录，我也必须在文件中添加100条规范行？

3）我通过一次重复插入30K记录，成功插入了大约3,30,000条记录。但是后来我尝试并发地这样做，并开始一次运行5个线程。ES崩溃了！！！内存不足异常是原因。我重新启动了ES，发现现在只有2,07,000条记录。在5个分片中，只有2个成功，这意味着数据消失了！这是一个严重的问题，可能会破坏应用程序。有人能帮我解决这么大数据量的理想分片和内存要求吗？还有我们如何在创建索引时指定这些设置，并在创建索引后进行修改？

4）现在在这个崩溃之后，当我用id'x'搜索一个特定的记录时，ES返回给我数据，但是当我试图用get检索同一个文档时，它失败了！可能出了什么问题？

非常感谢您的帮助。提前谢谢。

Answer 1

我发现最合适的地方是

如果还没有尝试过，可以尝试使用节点客户端将批量请求推送到ES。与http/TransportClient不同，使用节点客户端可以减少由于集群内的数据分配而产生的额外网络聊天。它会将数据推送到存储数据的节点，而不是盲目地将数据推送到节点，然后节点可能会将数据传递到其最终目的地。如果您有任何需要几天才能建立索引的流程，这可以为您节省一些时间。对于需要几个小时的过程来说，这可能不值得。