当前位置: 首页 > 面试题库 >

关于hadoop HDFS文件系统重命名

易俊驰
2023-03-14
问题内容

我正在将大量数据存储到hdfs中。我需要将文件从一个文件夹移动到另一个文件夹。

请问一般来说,文件系统重命名方法的成本是多少?假设我必须移动TB的数据。

非常感谢你。


问题答案:

在HDFS或任何文件系统(如果实施得当)中移动文件涉及对名称空间的更改,而不涉及实际数据的移动。遍历代码仅完成“名称”节点中名称空间(内存和编辑日志)的更改。

从NameNode.java类

  • NameNode控制两个关键表:
  • 1)filename-> blocksequence(命名空间)
  • 2)块->机器列表(“ inodes”)

只需要修改第一部分,而不必修改阻止到机器列表。我还没有尝试过,但是我想应该没问题。



 类似资料:
  • 1.5.2 ROS文件系统相关命令 ROS 的文件系统本质上都还是操作系统文件,我们可以使用Linux命令来操作这些文件,不过,在ROS中为了更好的用户体验,ROS专门提供了一些类似于Linux的命令,这些命令较之于Linux原生命令,更为简介、高效。文件操作,无外乎就是增删改查与执行等操作,接下来,我们就从这五个维度,来介绍ROS文件系统的一些常用命令。 1.增 catkin_create_pk

  • 现在,我们将看一些允许在目标机器上上传,下载,列表,读取,导航和执行文件的命令。有一个运行会话 - Meterpreter,我们要做的第一件事是运行pwd命令来获取当前的工作目录。此命令将进入到目录位置。现在,运行命令列出所有文件和目录,如以下屏幕截图所示: 假设想要导航到IEUser文件夹。则运行命令。如果运行,可以看到所在目录为:。然后进入到Downloads目录并运行命令列出文件,如以下屏幕

  • 请注意:我不是在讨论Java概念或透视图(即文件和文件系统类之间的区别),我是在讨论在HDFS上使用Java.io.File的效果。

  • 在HDFS的上下文中,我们有Namenode和Datanode,说Namenode存储了文件系统名称空间是什么意思? 还有,我们为datanode指定的目录(在hdfs-core.xml中)是唯一可以存储数据的地方,还是我们可以指定任何其他目录来保存数据?

  • 文件系统是负责文件管理的操作系统的一部分。 它提供了一种机制来存储数据和访问文件内容,包括数据和程序。一些操作系统将所有内容视为Ubuntu文件。 文件系统处理以下问题 - 文件结构 - 前面已经了解可存储文件的各种数据结构。文件系统的任务是保持最佳的文件结构。 恢复可用空间 - 每当文件从硬盘中删除时,磁盘中都会创建一个可用空间。 可能有很多这样的空间需要被恢复,以便将它们重新分配给其他文件。

  • 简单的文件读写是通过uv_fs_*函数族和与之相关的uv_fs_t结构体完成的。 note libuv 提供的文件操作和 socket operations 并不相同。套接字操作使用了操作系统本身提供了非阻塞操作,而文件操作内部使用了阻塞函数,但是 libuv 是在线程池中调用这些函数,并在应用程序需要交互时通知在事件循环中注册的监视器。 所有的文件操作函数都有两种形式 - 同步(synchron