当前位置: 首页 > 知识库问答 >
问题:

hdfs dfs-ls命令的结果

章昊
2023-03-14

在执行hdfs dfs-ls命令时,我想知道结果是集群中存储的所有文件,还是执行它的节点中的分区。我是hadoop的新手,在每个节点中插入分区时遇到了一些问题。

谢谢你

共有1个答案

宓文斌
2023-03-14

问题:"...如果结果是存储在集群中的所有文件或..."

ls命令中可以看到集群中存储的所有文件。更具体地说,您看到的是一组文件路径和名称。这些信息是命名空间的一部分,命名空间由Namenode管理。

“…仅在执行它的节点中的分区…”

如果您认为hdfs在这个节点上保留了一些文件,而在另一个节点上保留了一些文件。你误解了。没有这样的事。NameNode跟踪命名空间和blocksMap。事实上,文件是由块组成的。NameNode知道文件有多少个块以及这些块保存在哪些数据节点上。NameNode决定块的存放位置,它对用户是透明的。默认情况下,每个块有3个复制,每个复制在一个DataNode上。因此,假设一个文件有2个块,它最多可以位于6个DataNode上,没有DataNode保存完整的文件(在本例中为true。因为在另一种常见情况下,当一个小文件只有1个块时,每个复制都是一个完整的文件)。

有关更多信息,请查看Hdfs Design的官方文档

 类似资料:
  • 问题内容: 是否有人知道方法/类/库可以让我轻松地在Java中重现* nix ls -l命令的结果?由于平台的独立性,直接调用ls是不可行的。 例如。$ ls -l myprogram.exe -rwxrwxrwx 1个用户无1261568 Nov 15 17:41 C:\ myprogram.exe 问题答案: 这提供了您要寻找的内容:

  • 本文向大家介绍Linux ls命令的使用,包括了Linux ls命令的使用的使用技巧和注意事项,需要的朋友参考一下 1.简介 ls命令用来显示目录内容,在Linux中是使用率较高的命令。ls命令的输出信息可以进行彩色加亮显示,以分区不同类型的文件。 2.命令格式 3.选项说明 4.常用示例 (1)ls命令按照修改日期递减排序 如果想按照修改日期递增的话使用ls -rt 就行了。 (2)ls命令按照

  • 我想我已经正确安装了hadoop。如果我做我可以看到namenode和datanode,没有问题。 这是不管我是否把'.'或“/”或我所在的任何目录。 这一切意味着什么?我怎样才能得到正常的,预期的输出?我错过了什么?

  • 我想我已经正确安装了hadoop。如果我做了我可以看到namenode和datanode,没有问题。 当我键入时,我得到错误: 当我键入hadoop dfs-ls时 我得到错误: 当我键入时,我得到错误: 这是不管我是否把或者“/”或者我所在的任何目录。 这一切意味着什么?如何获得正常的预期输出?我错过了什么?

  • 通过学习 cd 和 pwd 命令,相信读者已经能够在庞大的 Linux 文件系统中,随心所欲地游荡并确定自己所在的位置了。本节继续来学习,如何知道某目录中存放了哪些文件或子目录。 ls 命令,list 的缩写,是最常见的目录操作命令,其主要功能是显示当前目录下的内容。此命令的基本格式为: [root@localhost ~]# ls [选项] 目录名称 表 1 列出了 ls 命令常用的选项以及各自

  • 问题内容: 我想确切地知道“ Is”命令在Linux和Unix中如何工作。 据我所知,ls将&s派生到Linux / Unix shell,然后获取(当前文件树的输出。例如/ home / ankit /)。我需要更详细的说明,因为我不确定调用fork之后会发生什么。 任何人都可以详细解释“ ls”命令的功能吗? 问题答案: ls不分叉。Shell会分叉并执行,以便运行任何未内置的命令,它可以运行