当前位置: 首页 > 知识库问答 >
问题:

hdfs-site.xml上的配置属性是否适用于Hadoop中的NameNode?

通博实
2023-03-14

我最近为Hadoop建立了一个测试环境集群--一个主服务器和两个从服务器。

<property>
<name>dfs.replication</name>
<value>3</value>
</property>

我对hadoop框架中不同xml的实际目的感到困惑:从我的一点了解来看:

1)core-site.xml--整个框架的配置参数,例如日志文件的位置、文件系统的默认名称等

2)hdfs-site.xml-适用于单个数据阳极。数据阳极的复制次数、本地文件系统中的数据目录、块的大小等

共有1个答案

邵弘义
2023-03-14

这是我的理解,我可能错了。

{hdfs-site.xml}-适用于HDFS(Hadoop分布式文件系统)的属性{mapred-site.xml}-适用于MapReduce的属性{core-site.xml}-适用于同时涉及HDFS和MapReduce的其他属性

 类似资料:
  • 为了学习,我正在4节点集群上安装Hadoop2.9.0。我已经按照Apache Hadoop 2.9.0的官方文档和一些google页面开始了namenode的安装/配置。 我编辑了位于$hadoop_home/etc/hadoop目录下的hdfs-site.xml,如下所示: 当我运行“hadoop namenode-format”时,它在/tmp/hadoop-hadoop/...下格式化默认

  • 问题内容: 在遵循一些在线教程之后,我试图在Hadoop中运行WordCount示例。但是,我不清楚,因为执行以下命令时文件将从本地文件系统复制到HDFS。 当我执行以下命令时,我在HDFS上看不到我的python-tutorial.pdf。 这让我感到困惑。我已经在core-site.xml中指定了“ myhadoop-tmp”目录。我以为该目录将成为用于存储所有输入文件的HDFS目录。 如果不

  • 我试图初始化log4j记录器使用SpringIOC和使用财产onfigurator.configure配置记录器,但财产onfigurator.configure不工作。 我的问题是如何将配置(log4j.properties)传递给Logger类? 波姆。xml 混淆班 log4j。性质

  • 在分布式Hadoop集群上,我可以将相同的hdfs-site.xml文件复制到namenodes和datanodes吗? 我看到的一些设置说明(即Cloudera)说在datanodes上有这个文件中的dfs.data.dir属性,在NameNode上有这个文件中的dfs.name.dir属性。这意味着我应该有两个hdfs-site.xml副本,一个用于namenode,一个用于datanodes

  • 我们在Spring启动应用程序中使用多个数据源配置。这两个数据源都只属于 mysql。 使用以下配置多个数据源: https://medium . com/@ Joe clever/using-multiple-data sources-with-spring-boot-and-spring-data-6430 b 00 c 02e 7 pom.xml更改: 当我启动应用程序时,默认情况下,它会创

  • 我创建了一个目录,如下所示,并使用以下语法创建hive表 a) 1)dfs-mkdir/应用程序/hadoop/仓库/ 2) 创建表employee(empid int,name string,姓氏string)行格式分隔字段,以“,”location“/app/hadoop/warehouse/”结尾; 3) 加载数据到路径“/输入文件位置。txt'覆盖到表employee中; 如果我的理解是正