Hadoop文件系统副本-namenode vs datanode
我需要将a文件从我的文件系统复制到HDFS，下面是我在hdfs-site.xml中的配置。我应该如何使用“hadoop fs”命令将/home/text.txt中的文件复制到HDFS中？我应该将它复制到namenode还是datanode中？
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop_store/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop_store/hdfs/datanode</value>
</property>
</configuration>
共有1个答案
你用什么hadoop版本？目录dfs.nameNode.name.dir用于存储元数据，目录dfs.datanode.data.dir用于存储真实数据（例如用户数据）。
如果你想把文件上传到HDFS，你不需要把它拷贝到namenode或datanode。因为HDFS会做到这一点。最后，您的数据将存储在Datanode上。
您可以使用commondbin/hadoop fs-mkdir/input和bin/hadoop fs copyFromLocal/home/text.txt/input。第一个共同点是在HDFS上创建目录“input”，第二个共同点是将您的文件复制到HDFS。
-
从Hadoop 1.2.1的文件系统Shell中，它显示： FS shell由以下人员调用：
-
我需要从本地文件系统复制一个文件夹到HDFS。我找不到任何例子移动文件夹（包括它的所有子文件夹）到HDFS
-
问题内容： 我在CentOS 6.6上安装了一个基本的hadoop集群，并想编写一些基本程序（浏览文件系统，删除/添加文件等），但是我仍在努力使最基本的应用程序正常工作。 当运行一些基本代码以将目录的内容列出到控制台时，出现以下错误： 我的pom.xml依赖项 代码： 调用fs.initialize（）后将引发错误。我真的不确定这是什么问题。我是否缺少依赖关系？他们是错误的版本吗？ 问题答案： 我
-
请注意：我不是在讨论Java概念或透视图（即文件和文件系统类之间的区别），我是在讨论在HDFS上使用Java.io.File的效果。
-
问题内容： 我正在将大量数据存储到hdfs中。我需要将文件从一个文件夹移动到另一个文件夹。 请问一般来说，文件系统重命名方法的成本是多少？假设我必须移动TB的数据。 非常感谢你。 问题答案： 在HDFS或任何文件系统（如果实施得当）中移动文件涉及对名称空间的更改，而不涉及实际数据的移动。遍历代码仅完成“名称”节点中名称空间（内存和编辑日志）的更改。 从NameNode.java类 NameNode
-
我是Hadoop的新手。我正试图在hdfs中创建一个目录，但我无法创建。 我已经登录到“hduser”，因此我假设/home/hduser“作为Unix FS预先存在，所以我尝试使用下面的命令创建hadoop目录。 在线搜索后，我想到可能是hadoop不能理解“/home/hduser”，或者我使用的hadoop2中mkdir不能像Unix命令“madir-p”（递归）那样工作。因此，我尝试创建“