hadoop将本地文件系统文件夹复制到HDFS

Question

我需要从本地文件系统复制一个文件夹到HDFS。我找不到任何例子移动文件夹（包括它的所有子文件夹）到HDFS

$hadoop fs-copyFromLocal/home/ubuntu/Source文件夹复制HDFS-URI

Answer 1

如果您从本地复制文件夹，则它会将文件夹及其所有子文件夹复制到HDFS。

要将文件夹从本地复制到hdfs，可以使用

hadoop fs -put localpath

或

hadoop fs -copyFromLocal localpath

或

hadoop fs -put localpath hdfspath

或

hadoop fs -copyFromLocal localpath hdfspath

注:

如果未指定hdfs路径，则文件夹副本将以该文件夹的相同名称复制到hdfs。

从hdfs复制到本地

 hadoop fs -get hdfspath localpath

Answer 2

在将文件放入HDFS之前检查源和目标

[cloudera@quickstart ~]$ ll files/
total 132
-rwxrwxr-x 1 cloudera cloudera  5387 Nov 14 06:33 cloudera-manager
-rwxrwxr-x 1 cloudera cloudera  9964 Nov 14 06:33 cm_api.py
-rw-rw-r-- 1 cloudera cloudera   664 Nov 14 06:33 derby.log
-rw-rw-r-- 1 cloudera cloudera 53655 Nov 14 06:33 enterprise-deployment.json
-rw-rw-r-- 1 cloudera cloudera 50515 Nov 14 06:33 express-deployment.json

[cloudera@quickstart ~]$ hdfs dfs -ls
Found 1 items
drwxr-xr-x   - cloudera cloudera          0 2017-11-14 00:45 .sparkStaging

使用-put或-copyFromLocal命令复制文件HDF

[cloudera@quickstart ~]$ hdfs dfs -put files/ files

在HDFS中验证结果

[cloudera@quickstart ~]$ hdfs dfs -ls
Found 2 items
drwxr-xr-x   - cloudera cloudera          0 2017-11-14 00:45 .sparkStaging
drwxr-xr-x   - cloudera cloudera          0 2017-11-14 06:34 files

[cloudera@quickstart ~]$ hdfs dfs -ls files
Found 5 items
-rw-r--r--   1 cloudera cloudera       5387 2017-11-14 06:34 files/cloudera-manager
-rw-r--r--   1 cloudera cloudera       9964 2017-11-14 06:34 files/cm_api.py
-rw-r--r--   1 cloudera cloudera        664 2017-11-14 06:34 files/derby.log
-rw-r--r--   1 cloudera cloudera      53655 2017-11-14 06:34 files/enterprise-deployment.json
-rw-r--r--   1 cloudera cloudera      50515 2017-11-14 06:34 files/express-deployment.json

Answer 3

你可以试试：

hadoop fs -put /path/in/linux /hdfs/path

甚至

hadoop fs -copyFromLocal /path/in/linux /hdfs/path

缺省情况下，将目录递归地上传到HDFS。