网络分段情况下具有ZooKeeper发现行为的Apache Ignite集群

Question

我们正在开发基于ApacheIgnite的分布式系统架构。该系统对容错性有严格要求。

我们有三个数据中心（DC）：其中两个是主DC（DC1和DC2），一个是备用DC（DC3）。我们在主DCs之间有一个快速以太网通道。DC1和DC2的连接容量超过40GbE。备用DC3通过慢速通道1 GbE连接到DC1和DC2。

我们计划将ZooKeeper发现用于Ignite Cluster，并希望将ZooKeeper群集节点放置到三个DC：每个DC一个节点。

我们计划仅将Ignite群集节点放置在主DCs中（DC1和DC2）。DC1和DC2将具有相同数量的点火节点。

建筑图式

如果主DCs DC1和DC2之间的40GbE通道关闭，当网络分段时，Ignite Cluster会发生什么情况？

例如，DC3中的ZK3节点是leader，ZK1和ZK2是follower，在这种情况下，leader节点可以与两个follower通信，follower彼此失去连接。ZooKeeper集群保留在集合中。

来自DC1的Ignite Cluster节点可以与ZK1和ZK3节点以及在DC1中相互之间进行通信。来自DC2的Ignite Cluster节点可以与ZK2和ZK3节点以及在DC2中相互之间进行通信。

在这个网络分割案例中，大脑分裂的情况将如何解决，或者我们将得到两个独立的Ignite集群？

文档https://apacheignite.readme.io/docs/zookeeper-discovery#section-失败和分裂的大脑处理告诉我们：

每当节点发现无法连接到集群中的其他一些节点时，它就通过向ZooKeeper集群发布特殊请求来启动通信故障解决过程。当该过程启动时，所有节点尝试相互连接，并将连接尝试的结果发送给协调该过程的节点（协调器节点）。根据这些信息，协调器节点创建表示集群中网络情况的连接图。进一步的操作取决于网络分割的类型。

在这种情况下，协调人能否选择半点火簇中的一个作为主点火簇？

Answer 1

您可以查看https://apacheignite.readme.io/docs/zookeeper-discovery#section-failures-and-split-brain-handling的"ZooKeeper集群分割"部分

你总共有3个节点，动物园管理员需要超过一半的节点，在你的情况下是2个节点，在一个仍然在工作的分段中决定哪个分段应该关闭。从你当前的架构来看，你有三个分段，每个分段只有一个节点。所以没有一个分段包含超过一半的节点（在你的情况下是2个节点），那么我认为结果应该是关闭你身边的所有三个节点，然后所有点燃节点也会因为无法连接到zKnodes而关闭。

Answer 2

无论ZooKeeper的行为如何，如果DC1和DC2之间失去连接，集群将无法正常运行。ZooKeeper负责发现SPI，但不负责要求所有节点之间完全连接的通信SPI。

因此，即使发现SPI能够解决丢失连接的问题，缓存操作也不会成功。

不建议包含与集群其余部分连接缓慢的节点，因为它们会减慢所有操作并使集群不稳定。在这种情况下，最好设置两个单独的集群并配置它们之间的复制（例如，GridGain提供了这样的能力：https://www.gridgain.com/products/software/enterprise-edition/data-center-replication）

如果要实现防止群集之间失去连接的保护，还可以查看SegmentationResolver。