随着索引和文档数量的增加，elasticsearch批量索引的速度会变慢

Question

7.5 GiB memory
4 EC2 Compute Units (2 virtual cores with 2 EC2 Compute Units each)
850 GB instance storage
64-bit platform
I/O Performance: High
EBS-Optimized Available: 500 Mbps
API name: m1.large

ES_MAX_MEM设置为4G，ES_MIN_MEM设置为2G

每天晚上，我们在。NET应用程序中使用NEST对15000个文档进行索引/重新索引。在任何给定时间，只有一个索引具有<=15000个文档。

当服务器第一次安装时，索引和搜索在最初的几天里是快速的，然后索引开始变得越来越慢。大容量索引一次索引100个文档，一段时间后，大容量操作最多需要15秒才能完成。之后，我们开始看到大量以下异常和索引研磨停止。

System.Net.WebException: The request was aborted: The request was canceled.
   at System.Net.HttpWebRequest.EndGetResponse(IAsyncResult asyncResult)
   at System.Threading.Tasks.TaskFactory`1.FromAsyncCoreLogic(IAsyncResult iar, Func`2 endFunction, Action`1 endAction, Task`1 promise, Boolean requiresSynchronization) : 

private ElasticClient GetElasticClient()
{
    var setting = new ConnectionSettings(ConfigurationManager.AppSettings["elasticSearchHost"], 9200);
    setting.SetDefaultIndex("products");
    var elastic = new ElasticClient(setting);
    return elastic;
}

private void DisableRefreshInterval()
{
    var elasticClient = GetElasticClient();
    var s = elasticClient.GetIndexSettings("products");
    var settings = s != null && s.Settings != null ? s.Settings : new IndexSettings();
    settings["refresh_interval"] = "-1";
    var result = elasticClient.UpdateSettings(settings);
    if (!result.OK)
        _logger.Warn("unable to set refresh_interval to -1, {0}", result.ConnectionStatus == null || result.ConnectionStatus.Error == null ? "" : result.ConnectionStatus.Error.ExceptionMessage);
}

private void EnableRefreshInterval()
{
    var elasticClient = GetElasticClient();
    var s = elasticClient.GetIndexSettings("products");
    var settings = s != null && s.Settings != null ? s.Settings : new IndexSettings();
    settings["refresh_interval"] = "1s";
    var result = elasticClient.UpdateSettings(settings);
    if (!result.OK)
        _logger.Warn("unable to set refresh_interval to 1s, {0}", result.ConnectionStatus == null || result.ConnectionStatus.Error == null ? "" : result.ConnectionStatus.Error.ExceptionMessage);
}

public void Index(IEnumerable<Product> products)
{
    var enumerable = products as Product[] ?? products.ToArray();
    var elasticClient = GetElasticClient();
    try
    {
        DisableRefreshInterval();

        _logger.Info("Indexing {0} products", enumerable.Count());
        var status = elasticClient.IndexMany(enumerable as IEnumerable<Product>, "products");

        if (status.Items != null)
            _logger.Info("Done, Indexing {0} products, duration: {1}", status.Items.Count(), status.Took);

        if (status.ConnectionStatus.Error != null)
        {
            _logger.Error(status.ConnectionStatus.Error.OriginalException);
        }
    }
    catch(Exception ex)
    {
        _logger.Error(ex);
    }
    finally
    {
        EnableRefreshInterval();
    }
}

...
...
finally
{
    EnableRefreshInterval();
    elasticClient.Optimize("products");
}

Answer 1

抱歉--我刚开始写另一篇相当长的评论，我想我应该把它都写在一个答案中，以防它对其他人有利...

ES_HEAP_SIZE

我在这里注意到的第一件事是，您说您将elasticsearch的max和min堆值设置为不同的值。这些应该是一样的。在configuration/init.d脚本中，应该有一个可以设置的EX_HEAP_SIZE。确保只设置这个值（而不是最小值和最大值），因为它将最小值和最大值设置为相同的值，这是您想要的。如果不这样做，JVM将在您开始需要更多内存时阻塞java进程--请参阅最近在github上发表的一篇关于中断的文章（这里引用了一段话）：

升级

Elasticsearch还是相当新的。计划相当频繁地升级，因为在您所使用的版本(0.19.11)和当前版本(0.20.4)之间引入的bug修复非常重要。有关详细信息，请参阅ES站点。您使用的是Java7，这绝对是正确的方法，我从Java6开始，很快就意识到它不够好，尤其是对于批量插入。

插件