在具有HDFS联邦的完全分布式hadoop集群中,Namenodes不会使用所有数据阳极
我的集群的规格是：
- Hadoop 2.7.2
- JDK 1.8.74
- 操作系统是CentOS 6.7
- 2个名称编号(Namenode1和Namenode2)
- 2数据阳极（数据阳极1和数据阳极2)
- 1客户端（为ViewFS装入表配置）
使用一个namenode，集群（1个namenode+2个DataNode）工作良好，所有配置看起来都是正确的。
如果有人知道如何使用多个名称编号运行HDFS联盟，欢迎您帮助=p谢谢。
共有1个答案
我终于找到了问题并纠正了它。
它在nameNodes的hdfs-site.xml配置文件中。您可以在hadoop安装库中找到它：在我的示例中，它位于~/hadoop-2.7.2/etc/hadoop/
除了标准配置之外，请确保dfs.name.dir属性引用每个nameNode的元数据汇编的位置。在我的例子中，对于所有的nameNode，我为此目的创建了/hdfs/name资源库，拥有适当的所有权（专门为使用hadoop创建的用户）
<property>
<name>dfs.name.dir</name>
<value>file:///hdfs/name,file:///hdfs/name</value>
</property>
-
Kubernetes v1.9声称单集群最多可支持5000个节点和15万个Pod，我相信很少有公司会部署如此庞大的一个单集群，总有很多情况下因为各种各样的原因我们可能会部署多个集群，但是有时候有想将他们统一起来管理，这时候就需要用到集群联邦（Federation）。 为什么要使用 federation Federation 使管理多个集群变得简单。它通过提供两个主要构建模块来实现： 跨集群同步资源
-
我有两个节点的完全分布式Hadoop和Hbase实例。HDFS在主机和从机上工作良好。但是HBase shell只在节点名格式化之后工作一次，并且集群是新的，之后我得到错误：error：org.apache.hadoop.HBase.PleaseHoldException：Master is initializing HBase 我也不能通过hbase shell从slave连接我总是得到错误连接
-
我们有一个Hadoop集群，数据节点为275个节点（55Tb总内存，12000个VCore）。这个集群与几个项目共享，我们有一个YARN队列分配给我们，资源有限。 为了提高性能，我们正在考虑为我们的项目构建一个单独的Spark集群（在同一网络中的Mesos上）并访问Hadoop集群上的HDFS数据。 正如Spark文档中提到的：https://spark.apache.org/docs/lates
-
有人有一个如何使用infinispan目录提供程序配置节点集群以共享索引的工作示例吗？Infinispan上的所有留档（留档严重缺乏btw）意味着它应该像设置一些属性一样简单，但无论我如何尝试，我都无法让它工作。集群中的节点彼此找到很好，我可以在一个节点上进行操作并获取放在另一个节点上的对象。但是一旦我进行查询（使用索引），它就开始失败。 我的infinispan配置： 我没有找到一个包含共享索引
-
...或在namenode文件中。jobtracker只是重复在datanode日志中发现的错误。在失败之前几分钟的一个错误是EOF错误,对于PartialBuilder来说,这可能是问题,也可能不是问题： 我能够直接读写文件到DFS。我甚至可以在数据的一个很小的子集上运行这个作业，但是我不能让这个map/reduce作业正确工作。知道我做错了什么吗？ 有关我得安装得说明： null dfs.re
-
本文向大家介绍详解使用docker搭建hadoop分布式集群，包括了详解使用docker搭建hadoop分布式集群的使用技巧和注意事项，需要的朋友参考一下 使用Docker搭建部署Hadoop分布式集群 在网上找了很长时间都没有找到使用docker搭建hadoop分布式集群的文档，没办法，只能自己写一个了。 一：环境准备： 1：首先要有一个Centos7操作系统，可以在虚拟机中安装。 2：在cen