在Solr客户端上指定ZooKeeper主机的最佳方法？

Question

我们有一些SolrCloud

最初，我们使用hostfile条目来识别动物园管理员，但鉴于AWS的性质，确保主机中的条目是最新的变得非常乏味。因此，我们现在通过Route53使用自定义DNS来识别动物园管理员。但我们仍在单独识别ZooKeeper节点，因此，作为一个示例，我们目前在启动客户机时指定了这一点：

-Dsolr.zookeeperHosts='zk-1.mydomain.com:2181,zk-2.mydomain.com:2181,zk-3.mydomain.com:2181'

主机zk-1.mydomain.com等只是对每个ZooKeeper EC2实例的DNS进行CNAME。因此，现在如果Amazon强制我们重新启动ZooKeeper，从而使其获得新的IP地址，客户端最终将在DNS记录更新时获得新IP。

我的问题是想知道是否有更好的方法来处理这个问题。假设我们想在混合中添加额外的ZooKeepers，那么我们的仲裁是5个节点，而不是3个节点。（我真的很想这样做。）有一个包含所有动物园管理员的DNS循环记录并将该DNS名称传递给客户端是否更有意义？

例如，设置DNS记录zookeepers。mydomain。com作为指向zk-1的CNAME。mydomain。com，zk-2。mydomain。com和zk mydomain。com，然后简单地将其传递给我的客户：

-Dsolr.zookeeperHosts='zookeepers.mydomain.com:2181'

这样，当我将新的ZooKeepers添加到集群时，我可以简单地将另一条CNAME记录添加到zookeepers.mydomain.com，而不需要担心更新所有客户端上的配置。

Solr客户端是否足够聪明，可以使用包含多个记录的DNS记录？具体来说，如果一个动物园管理员碰巧停机，而客户端尝试连接到它，客户端是否会再次查询DNS以获取下一个动物园管理员的IP并尝试与之通信？

Answer 1

使用CNAME是一个好主意，但我建议使用弹性IP扩展它，以使其更健壮，DNS更改需要时间来传播弹性IP的响应性更高。

然而，我有一些警告，在我们的调查中，我们试图探索如果使用负载平衡器而不是使用主机名/IP，Zookeeper/Solr将如何反应，并将其交给Solr不要这样做！似乎内部标识了每个solr。zookeeperHosts条目作为zookeeper服务器，当其中一个由于某种原因出现故障时，它将使其无效，因为从Solr的角度来看，没有任何其他zookeeper服务器，所以Solr不会关闭。我猜你也会有同样的问题，因为你有一张有几个IP的唱片。

最好的解决方案是尽可能地自动化。在以前的项目中，我使用chef收集所有zookeeper节点，并在每个solr节点上动态设置IP/主机名。如果chef对您来说有很大的改变，那么可以使用EC2标记和一些聪明的bash脚本来完成。您可以使用标记标记zookeeper实例，并像这样使用aws cli获取IP列表。

 ec2-describe-instances --filter "tag-key=Zookeeper"