当前位置: 首页 > 面试题库 >

如何在Hadoop 3.0中执行CopyMerge?

商业
2023-03-14
问题内容

我知道hadoop的版本2.7FileUtil具有copyMerge功能合并多个文件到一个新的。

但是copyMerge3.0版本的API不再支持该功能。

关于如何将目录中的所有文件合并到3.0hadoop版本的新单个文件中的任何想法?


问题答案:

FileUtil#copyMerge方法已被删除。查看主要更改的详细信息:

https://issues.apache.org/jira/browse/HADOOP-12967

https://issues.apache.org/jira/browse/HADOOP-11392

您可以使用getmerge

用法:hadoop fs -getmerge [-nl]

将源目录和目标文件作为输入,并将src中的文件串联到目标本地文件中。可以选择将-nl设置为启用,以在每个文件的末尾添加换行符(LF)。-skip-
empty-file可以用于在文件为空的情况下避免不需要的换行符。

例子:

hadoop fs -getmerge -nl /src /opt/output.txt
hadoop fs -getmerge -nl /src/file1.txt /src/file2.txt /output.txt

退出代码:成功返回0,错误返回非零。

https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-
common/FileSystemShell.html#getmerge



 类似资料:
  • 问题内容: 我似乎无法找出如何在Swift 2中进行操作。 我试着做 那不行 helloworld是一个变量 问题答案: 是。在swift 2.0中进行了更改,您需要访问Apple网站。放而不是

  • 问题内容: 以下是我用来设置状态的代码。 即使成功创建了数据库,也无法调用,因为它始终是未定义的。 我试过了: 但是它仍然失败,尝试使用和使用,仍然没有运气。 我该如何解决? 问题答案: 您需要将正确的(类上下文)与回调方法绑定在一起,然后只有您才能访问类的属性和方法。 可能的解决方案: 1- 使用 箭头功能 ,如下所示: 2- 或与一起使用,如下所示: 您使用的方式也将起作用,保存方法内部的引用

  • 本文向大家介绍如何在TestNG中实现并行执行?,包括了如何在TestNG中实现并行执行?的使用技巧和注意事项,需要的朋友参考一下 我们可以借助TestNG实现并行执行。TestNG中有一个并行属性,用于此实现。TestNG中的并行执行与另一个称为thread-count的属性相关联。 parallel属性可以具有以下列出的值- 方法。 类。 执行个体 测验 示例 Testng xml文件。 对于

  • 在https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-bucket-filter-aggregation.html我们了解到: 以上代码显示了我们如何为t恤添加aggs,但我们如何做到: 和

  • 问题内容: 请告诉我,如何在C 代码中包含javascript头文件或javascript函数。 C 代码是用Linux(UBUNTU)编写的吗? 尽管我仅需要执行上述操作,但是由于我打算实现CTI(计算机电话集成)操作,因此请告诉我我的操作目的。 (将不胜感激)非常感谢 问题答案: 从C ++调用脚本函数 http://clipp.sourceforge.net/Tutorial/back_ca

  • 问题内容: 我有一个带有字段的结构类型。 在代码的某个时刻,我想声明一个字面值(例如,当我知道值应该为0或指向0时,您就知道我的意思了) …除非这不起作用 所以我尝试这个 …但是这也不起作用 我该怎么做呢?我唯一能想到的解决方案是使用占位符变量 注意: 当使用 int而不是时, 语法可以 正常 工作 。 编辑:不,不。为此表示歉意。 编辑: 显然,我的问题含糊不清。我正在寻找一种方式来 字面上状态