我可以从AWS弹性Mapreduce作业访问zookeeper吗

Question

我是Hadoop的新手，并且在AWS弹性MapReduce下运行。

我需要在Hadoop中使用集群范围的原子计数器，因此有人建议使用zookeeper。

我相信zookeeper是Hadoop堆栈的一部分（对吗？），我如何从弹性Mapreduce作业访问它，以便设置和更新集群范围内的计数器？

Answer 1

你可以，就像Praveen Sripati回答的那样。但我不想澄清以下几点：

1. 请记住，zk的写入速率有限（每秒~300个请求）
2. 客户端可以看到陈旧的数据（zk不保证副本之间的读取一致性）。

我建议使用专用的序列生成器服务器，它将为您生成序列（并且这个服务可以使用Zk或者它想要的任何东西）。这类服务的一个示例:https://github.com/kasabi/h1

Answer 2

我相信zookeeper是Hadoop堆栈的一部分（对吗？）

ZooKeeper(ZK)不是Hadoop堆栈的一部分。它是Apache下的顶级项目(TLP)，独立于Hadoop。因此，首先必须在EC2上安装ZK。下面是相同的说明。

如何从弹性Mapreduce作业访问它以设置和更新群集范围内的计数器？

一旦安装了ZK，就可以使用ZK API生成集群范围的计数器。这里（1和2）讨论了该方法的利弊。以下是ZK在相同需求下的一些其他替代方案。