如何使用hadoop FS shell将hadoop中的两个文件连接成一个文件？

Question

我正在使用Hadoop 0.20.2，如果可能的话，我想使用-cat shell命令将两个文件连接成一个文件（来源：http://hadoop.apache.org/common/docs/r0.19.2/hdfs_shell.html)

这是我正在提交的命令（名称已更改）：

**/path/path/path/hadoop-0.20.2> bin/hadoop fs -cat /user/username/folder/csv1.csv /user/username/folder/csv2.csv > /user/username/folder/outputdirectory/**

它返回bash： /user/username/folder/outputdirectory/：没有这样的文件或目录

我还尝试创建该目录，然后再次运行它--仍然出现“没有这样的文件或目录”错误。

我还尝试使用-cp命令将两者复制到一个新文件夹中，并使用-getmerge将其合并，但getmerge也没有成功。

在hadoop中这样做的原因是这些文件非常庞大，在hadoop之外下载、合并和重新上传需要很长时间。

Answer 1

要将文件夹中的所有文件连接到输出文件，请执行以下操作：

hadoop fs -cat myfolder/* | hadoop fs -put - myfolder/output.txt

如果您在hdfs上有多个文件夹，并且您想连接每个文件夹中的文件，您可以使用外壳脚本来执行此操作。（注意：这不是很有效，并且可能很慢）

语法：

for i in `hadoop fs -ls <folder>| cut -d' ' -f19` ;do `hadoop fs -cat $i/* | suy hadoop fs -put - $i/<outputfilename>`; done

例如：

for i in `hadoop fs -ls my-job-folder | cut -d' ' -f19` ;do `hadoop fs -cat $i/* |hadoop fs -put - $i/output.csv`; done

说明：因此，您基本上循环所有文件，并将每个文件夹的内容分类到hdfs上的输出文件中。

Answer 2

该错误与您试图将命令的标准输出重新定向回HDFS有关。有几种方法可以做到这一点，使用hadoop fs-put命令，源参数是炒作：

bin/hadoop fs -cat /user/username/folder/csv1.csv /user/username/folder/csv2.csv | hadoop fs -put - /user/username/folder/output.csv

getmerge也输出到本地文件系统，而不是HDFS

不幸的是，没有一种有效的方法可以将多个文件合并到一个文件中（除非您想查看Hadoop的“附加”，但在您的Hadoop版本中，默认情况下这是禁用的，并且可能存在错误），而无需将文件复制到一台机器上，然后再返回到HDFS中，无论您在

• 一个自定义map reduce作业，包含一个reducer和一个保留文件顺序的自定义mapper reducer（请记住，每一行都将按键排序，因此您的键需要是输入文件名和行号的某种组合，值将是行本身）