Hadoop config-hdfs-site.xml：我应该在namenode和datanode上使用相同的文件吗？
在分布式Hadoop集群上，我可以将相同的hdfs-site.xml文件复制到namenodes和datanodes吗？
我看到的一些设置说明（即Cloudera）说在datanodes上有这个文件中的dfs.data.dir属性，在NameNode上有这个文件中的dfs.name.dir属性。这意味着我应该有两个hdfs-site.xml副本，一个用于namenode，一个用于datanodes。
但如果都一样，我宁愿只拥有/维护文件的一个副本，并在更改时将其推送到所有节点。在同一文件中同时包含dfs.name.dir和dfs.data.dir属性是否有任何危害/风险？如果数据节点看到“dfs.name.dir”的属性，可能会发生什么问题？如果存在问题，hdfs-site.xml文件中的namenode上应该有哪些其他属性而不是datanode上的属性？反之亦然。
最后，在我复制到客户机（客户机不是任务跟踪器或数据阳极，只是与Hadoop集群对话）的hdfs-site.xml文件中需要包含哪些属性？
我四处搜索，包括O'Reilly operations book，但找不到任何描述配置文件需要在不同节点上如何不同的好文章。谢谢！
共有1个答案
namenode是从masters文件中提取的，因此FSimage和编辑日志基本上只在namenode上写入，而不是在datanode中，即使您复制了相同的hdfs-site.xml。
对于第二个问题...如果不直接在集群上，您就不一定能与hdfs通信。如果您希望有一个远程客户端，您可以尝试webhdfs并创建某些web服务，使用这些服务您可以在hdfs中写入或访问文件
-
为了学习，我正在4节点集群上安装Hadoop2.9.0。我已经按照Apache Hadoop 2.9.0的官方文档和一些google页面开始了namenode的安装/配置。 我编辑了位于$hadoop_home/etc/hadoop目录下的hdfs-site.xml,如下所示： 当我运行“hadoop namenode-format”时，它在/tmp/hadoop-hadoop/...下格式化默认
-
我的hdfs-site.xml只有以下内容： 问题。NameNode和DataNode将安装在哪里？我在MSFT Surface笔记本电脑上使用了Hadoop 3.0.3版本的Windows10。
-
由于我正处于Hadoop的学习阶段，我遇到了Hadoop单集群设置的问题。我使用的是Hadoop2.9.0和Java8。我已经完成了设置，如下所示 现在hdfs-site.xml中dfs.replication的值为1。现在我正在做start-all.sh如果我检查状态- 现在我有stop-all.sh和如果我将hdfs-site.xml中的dfs.replication的值更改为0（有些人提到这
-
我最近为建立了一个测试环境集群--一个主服务器和两个从服务器。 我对hadoop框架中不同xml的实际目的感到困惑：从我的一点了解来看： 1）--整个框架的配置参数，例如日志文件的位置、文件系统的默认名称等 2)-适用于单个数据阳极。数据阳极的复制次数、本地文件系统中的数据目录、块的大小等
-
我需要将a文件从我的文件系统复制到HDFS，下面是我在hdfs-site.xml中的配置。我应该如何使用“hadoop fs”命令将/home/text.txt中的文件复制到HDFS中？我应该将它复制到namenode还是datanode中？
-
使用Cloudera Manager时，我可以通过以下方式访问hdfs-site.xml文件: Cloudera Manager>Cluster>HDFS>Instances>（例如NameNode)>Processes COnfiguration Files>hdfs-site.xml 该文件是否可直接通过文件系统访问，如果是，它位于何处