ElasticSearch：未分配的碎片，如何修复？

Question

我有一个包含4个节点的ES集群：

number_of_replicas: 1
search01 - master: false, data: false
search02 - master: true, data: true
search03 - master: false, data: true
search04 - master: false, data: true

我不得不重新启动search03，当它回来时，它没有问题地重新加入了集群，但是留下了7个未分配的碎片。

{
  "cluster_name" : "tweedle",
  "status" : "yellow",
  "timed_out" : false,
  "number_of_nodes" : 4,
  "number_of_data_nodes" : 3,
  "active_primary_shards" : 15,
  "active_shards" : 23,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 7
}

现在我的集群处于黄色状态。解决这个问题最好的办法是什么？

• 删除（取消）碎片？
• 将碎片移动到另一个节点？
• 将碎片分配给节点？
• 将“number_of_replicas”更新为2？
• 完全是其他吗？

有趣的是，当添加了一个新的索引时，该节点开始处理它，并与集群的其余部分保持良好的关系，它只留下未分配的碎片。

接下来的问题是：我做错了什么导致了这一切的发生吗？对于一个节点重新启动时表现如此的集群，我不太有信心。

注意：如果由于某种原因运行单个节点集群，您可能只需要执行以下操作：

curl -XPUT 'localhost:9200/_settings' -d '
{
    "index" : {
        "number_of_replicas" : 0
    }
}'

Answer 1

这个小bash脚本将暴力重新分配，您可能会丢失数据。

NODE="YOUR NODE NAME"
IFS=$'\n'
for line in $(curl -s 'localhost:9200/_cat/shards' | fgrep UNASSIGNED); do
  INDEX=$(echo $line | (awk '{print $1}'))
  SHARD=$(echo $line | (awk '{print $2}'))

  curl -XPOST 'localhost:9200/_cluster/reroute' -d '{
     "commands": [
        {
            "allocate": {
                "index": "'$INDEX'",
                "shard": '$SHARD',
                "node": "'$NODE'",
                "allow_primary": true
          }
        }
    ]
  }'
done

Answer 2

好的，我在ES支持的帮助下解决了这个问题。对所有节点（或您认为是问题原因的节点）上的API发出以下命令：

curl -XPUT 'localhost:9200/<index>/_settings' \
    -d '{"index.routing.allocation.disable_allocation": false}'

其中 是您认为是罪魁祸首的索引。如果您不知道，只需在所有节点上运行以下内容：

curl -XPUT 'localhost:9200/_settings' \
    -d '{"index.routing.allocation.disable_allocation": false}'

我还将这一行添加到了yaml配置中，从那时起，服务器/服务的任何重新启动都没有问题。碎片立即重新分配回来。

FWIW，为了回答一个经常被问到的问题，将MAX_HEAP_SIZE设置为30G，除非您的机器的RAM少于60G，在这种情况下，将其设置为可用内存的一半。

• 碎片分配感知

Answer 3

默认情况下，Elasticsearch将动态地重新为节点分配碎片。但是，如果您已经禁用了碎片分配（也许您执行了滚动重新启动，但忘记重新启用它），那么您可以重新启用碎片分配。

# v0.90.x and earlier
curl -XPUT 'localhost:9200/_settings' -d '{
    "index.routing.allocation.disable_allocation": false
}'

# v1.0+
curl -XPUT 'localhost:9200/_cluster/settings' -d '{
    "transient" : {
        "cluster.routing.allocation.enable" : "all"
    }
}'

然后Elasticsearch会像正常一样重新分配碎片。这可能很慢，请考虑提高index.recovery.max_bytes_per_sec和cluster.routing.allocation.node_concurrent_recoveries以加快速度。

如果您仍然看到问题，那么可能是其他问题，所以在您的Elasticsearch日志中查找错误。如果您看到esRejectedExecutionException，您的线程池可能太小。

最后，您可以使用reroute API显式地将碎片重新分配给节点。

# Suppose shard 4 of index "my-index" is unassigned, so you want to
# assign it to node search03:
curl -XPOST 'localhost:9200/_cluster/reroute' -d '{
    "commands": [{
        "allocate": {
            "index": "my-index",
            "shard": 4,
            "node": "search03",
            "allow_primary": 1
        }
    }]
}'