如何选择碎片和副本的数量Elasticsearch

Question

有人能告诉我如何选择弹性搜索索引的碎片和副本数吗？

我已将索引的大小配置为20GB，但不知道如何选择编号或碎片和副本

注意：我有5个节点，3个主节点（用于热数据），2个数据节点（一个用于热数据，第二个用于冷数据）

谢谢你的帮助

Answer 1

这里有几个关于如何设置碎片和副本数量的选项。

1.使用模板（如果要将相同的设置设置为多个索引）：

索引模板

PUT _template/my_template
{   
    "order": 0,
    "index_patterns": [
      "<your-index1>","<your-index2>"
    ],
    "settings": {
      "index": {
        "number_of_shards": "2",
        "number_of_replicas": "1"
      }
    },
    "mappings": {},
    "aliases": {}
}

2.更新单个索引设置：

更新索引设置Api

PUT /my-index/_settings
{
  "index": {
        "number_of_shards": "2",
        "number_of_replicas": "1"
      }
}

另外，看看这篇文章，我的Elasticsearch集群中应该有多少碎片？

Answer 2

Elasticsearch使用碎片的概念将索引细分为多个碎片，并允许我们制作索引碎片的一个或多个副本，称为副本。请参考这个SO答案来详细了解碎片和副本。

将碎片数和副本数设置为索引的属性：

PUT /indexName

{
  "settings": {
    "index": {
      "number_of_shards": 6,
      "number_of_replicas": 2
    }
  }
}

如果你有一个有3个碎片的索引，并且每个碎片都有2个副本，那么这意味着总共有9个碎片，但当时只有3个碎片在活动使用中。如果碎片分配没有以正确的方式进行，那么它可能会在集群中导致性能问题。

选择碎片和副本数量的一些重要提示：

>

创建索引后不能更改碎片数。如果您以后发现有必要更改碎片的数量，那么您将不得不重新索引所有文档。

要决定没有碎片，您必须选择一个起点，然后尝试通过测试数据和查询来找到最佳大小。

副本往往会提高搜索性能（并不总是如此）。但是，建议至少有一个副本（以便在硬件故障时保留数据）

参考这篇medium文章，它指出节点数和碎片数（主碎片+副本）应该成比例。这对于Elasticsearch确保适当的负载平衡很重要。

如本文所述，建议将每个节点配置的碎片数保持在每GB堆20个以下。

根据这篇博客，在规划容量时，尝试以最初配置数据集时节点数的150%到300%（或大约两倍）的速度分配碎片