在Hadoop 2.6.9中，用于将文件从HDFS传输到本地文件系统的Shell命令
我是Hadoop的新手。是否有bash命令将文件从Hadoop分布式文件系统传输到hadoop节点上的标准文件系统。
我正在使用Hadoop 2.6.0
我看到了另一个类似的问题，它询问如何在Java中执行同样的操作：使用Java将文件从HDFS复制到本地文件系统
我们可以用一个简单的shell命令来代替它（它运行在hadoop集群的一个节点上）吗？
共有2个答案
如果要将数据从HDFS下拉到本地目录，则需要使用-get或-copyToLocal开关切换到hadoop fs命令。
hadoop fs-复制本地hdfs://pathlocalpath
只需在shell脚本中调用命令。你可以像下面这样做。
对于awk'/中的行。csv/{print$2}'/user/hadoop/TempFiles/CLNewFiles。txt；
做
hadoop fs复制到本地 /user/hadoop/TempFiles/$line your localpath
echo“$line文件正在从hadoop下载”
完成
hdfs-dfs-get/hdfs/path/local/path
hdfs-dfs-put/local/path/hdfs/path
-
我已经在Ubuntu 14.04上安装了hadoop。每当我将文件从本地文件系统复制到HDFS时，我都会出现以下错误。 我使用这个命令： 我遇到的错误是： 我是Linux环境的新手。我不明白哪个文件不存在。
-
如何将文件从HDFS复制到本地文件系统。文件下没有文件的物理位置，甚至没有目录。我如何将它们移到本地进行进一步的验证。我通过winscp进行了尝试。
-
我需要从本地文件系统复制一个文件夹到HDFS。我找不到任何例子移动文件夹（包括它的所有子文件夹）到HDFS
-
在我的Java应用程序中，我使用的是一个文本文件（大小为300MB)，它保存在HDFS中。文件的每一行都包含一个字符串和一个用逗号分隔的整数ID。我正在逐行读取文件，并从中创建Hashmaps(String，ID)。 文件如下所示： 现在，我当前正在直接使用Apacha Hadoop配置和FileSystem对象从HDFS读取文件。 输入流“in”被传递给另一个名为read（InputStream
-
问题内容： 我正在将大量数据存储到hdfs中。我需要将文件从一个文件夹移动到另一个文件夹。 请问一般来说，文件系统重命名方法的成本是多少？假设我必须移动TB的数据。 非常感谢你。 问题答案： 在HDFS或任何文件系统（如果实施得当）中移动文件涉及对名称空间的更改，而不涉及实际数据的移动。遍历代码仅完成“名称”节点中名称空间（内存和编辑日志）的更改。 从NameNode.java类 NameNode
-
问题内容： 我必须使用Python脚本自动将文件夹上传到FTP。我可以上传单个文件，但不能上传包含子文件夹和文件的文件夹。我做了很多搜索，但是失败了。有人可以帮我吗？提前致谢。 问题答案： 基本上，您需要使用os.walk（）来获取这些文件并进行传输。 这是我为自己编写的脚本，可以完成您的大部分要求。我是很久以前写的，所以如果我再次写它，我可能会做不同的事情，但是我从中得到了很多利用。 它导入ps