Hadoop上的HDFS位置是什么？

Question

在遵循一些在线教程之后，我试图在Hadoop中运行WordCount示例。但是，我不清楚，因为执行以下命令时文件将从本地文件系统复制到HDFS。

hadoop fs -copyFromLocal /host/tut/python-tutorial.pdf /usr/local/myhadoop-tmp/

当我执行以下命令时，我在HDFS上看不到我的python-tutorial.pdf。

hadoop fs -ls

这让我感到困惑。我已经在core-site.xml中指定了“ myhadoop-tmp”目录。我以为该目录将成为用于存储所有输入文件的HDFS目录。

core-site.xml
=============
<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/myhadoop-tmp</value>
    <description>A base for other temporary directories.</description>
</property>

如果不是这种情况，HDFS在我的计算机上的什么位置？什么配置确定HDFS目录，当我们将输入文件从本地文件系统复制到HDFS时，输入文件会去哪里？

Answer 1

这是在dfs.datanode.data.dir属性中设置的，该属性默认为file://${hadoop.tmp.dir}/dfs/data（在此处查看详细信息）。

但是，对于您而言，问题是您没有 在 HDFS中使用完整路径。相反，请执行以下操作：

hadoop fs -ls /usr/local/myhadoop-tmp/

请注意，您似乎还将HDFS中的路径与本地文件系统中的路径混淆了。在HDFS中，您的文件位于/usr/local/myhadoop- tmp/。在您的本地系统中（并根据您的配置设置），它位于/usr/local/myhadoop-tmp/dfs/data/;
下。在那里，有一个由HDFS定义的目录结构和命名约定，与您决定使用的HDFS中的任何路径无关。而且，它不会具有相同的名称，因为它分为多个块，并且每个块都分配有唯一的ID；一个街区的名字就像blk_1073741826。

得出的结论是：datanode使用的本地路径与您在HDFS中使用的路径不同。您可以进入本地目录以查找文件，但是不应该这样做，因为这样可能会使HDFS元数据管理混乱。只需使用hadoop命令行工具，即可使用您希望使用的任何逻辑路径（在HDFS中）复制/移动/读取HDFS中的文件。HDFS中的这些路径不必与您用于本地数据节点存储的路径绑定在一起（没有理由或这样做的好处）。