Redis群集实时硬盘故障

Question

我们在生产环境中广泛使用redis集群。我们目前有一个30个节点的集群（15个主服务器，15个从服务器）我们正在尝试增加集群，为此我们创建了新的服务器

接下来-我们试图重新加载插槽到新的主人。我们编写了一个脚本来实现这一点，使用redis-tribreshard命令。

但是-迁移中途失败（但距离开始不远），出现以下错误：[ERR]调用MIGRATE:ERR目标实例时回答错误：BUSYKEY目标密钥名称已存在

这种情况偶尔发生，有时它会在失败之前移动一些插槽，有时它会在第一个插槽上失败。每次此类故障都需要手动修复操作，这使得reshard操作很难管理。

除了停机迁移之外，我们还没有找到任何具体的例子，也没有任何关于如何防止这种情况的想法。这是我们试图避免的。

版本：
redis server 4.0.2
redis trib 3.3.3（在出现此问题后从4.0.2降级：redis cluster reshard[ERR]调用迁移：ERR语法错误）

我们的下一步是升级到最新的redis（4.0.11），尽管我们在本期的发行说明中没有发现任何迹象。

希望听到我们做错了什么，以及如何修复它，或者redis集群不是为实时重播而构建的？

谢谢




Answer 1

我在为我们自己的项目使用redis集群支持时遇到过这样的问题。我发现redis-trib reshard命令有问题。如果没有密钥存储在从一个主机迁移到另一个主机的插槽中，它可以正常工作。

但是redis-5（仍在开发中，还不稳定）有自己的redis-cli，我认为重新调整命令没有问题。只有较低版本的5才会发生。

如果你看一下redis的官方文档，比如redis重新配置和redis集群重播，你会发现他们在内部是如何重播的。

因此，我通过运行bash脚本而不是运行redis-trib-reshard命令来完成这些任务，从而解决了这个问题。

假设您想将一些插槽从一个主节点重定向到另一个主节点。我们将把当前拥有散列槽所有权的节点称为源节点，并将要迁移目标节点的节点称为目标节点。

对于每个插槽，请执行以下步骤：

记住，根据redis官方文档，这些步骤的顺序在这里很重要。

>

发送群集设置批

MIGRATEtarget_hosttarget_porttarget_database_id超时

在Redis集群中，不需要指定0以外的数据库，但MIGRATE是一个通用命令，可用于不涉及Redis集群的其他任务。

这里还提供了一个简单的bash脚本示例：

Source-ip：172.17.0.5. Source-id：1f70a5107e0042a7d33a9efaf88dbdfed78076a

目标ip:172.17.0.4。目的地id:7e428bae84697a3882ecad19bd0d13ac7ee97d02

另一个主ip：172.17.0.7

for i in `seq 0 5460`; do
    redis-cli -c -h 172.17.0.4 cluster setslot ${i} importing 1f70a5107e0042a7d33a9efaf88dbdfecd78076a
    redis-cli -c -h 172.17.0.5 cluster setslot ${i} migrating 7e428bae84697a3882ecad19bd0d13ac7ee97d02
    while true; do
        key=`redis-cli -c -h 172.17.0.5 cluster getkeysinslot ${i} 1`
        if [ "" = "$key" ]; then
            echo "there are no key in this slot ${i}"
            break
        fi
        redis-cli -h 172.17.0.5 migrate 172.17.0.4 6379 ${key} 0 5000
    done
    redis-cli -c -h 172.17.0.5 cluster setslot ${i} node 7e428bae84697a3882ecad19bd0d13ac7ee97d02
    redis-cli -c -h 172.17.0.4 cluster setslot ${i} node 7e428bae84697a3882ecad19bd0d13ac7ee97d02
    redis-cli -c -h 172.17.0.7 cluster setslot ${i} node 7e428bae84697a3882ecad19bd0d13ac7ee97d02
done