当前位置: 首页 > 面试题库 >

在Hadoop中传递参数以映射功能

苏边浩
2023-03-14
问题内容

我是Hadoop的新手。我想从mapper类的map函数中的main函数(Java程序)访问命令行参数。请提出方法。


问题答案:

Hadoop 0.20引入了新的MR API,新的(oahmapreduce软件包)和旧的MR
API(oahmapred)之间没有太多功能差异,只是可以使用新API在映射器和化简器中提取数据。提到Arnon的是旧的API。

查看本文以使用新旧API传递参数。



 类似资料:
  • 有什么方法可以方便地将参数/查询作为映射传递 http.get只接受url和标头,不像python get中的有效负载字典可以用作参数。我想简单地实现它,比如: 或任何没有字符串操作的其他方法。 更新:我尝试使用构造函数。但这会带来错误。我需要通过的地图是 错误: 类型“int”不是类型“Iterable”的子类型 到目前为止,我只能通过将int 298改为字符串'298'来实现。

  • 陈述 我想去 但是显然没有使用...因为它不是切肉刀,我想了解更多关于函数及其传递参数的方式。 所以我尝试附加一个使用map函数列表的所有元素。但在此之前,是一个方法,而不是一个方法。 最后一个映射函数返回TypeError: 我想知道是否可以将参数传递给使用的方法。感谢

  • 使用,并希望将常量/参数传递给自定义映射器 我的目的地具有 Map 类型的字段

  • 问题内容: 有谁知道如何在具有 多个 功能的groupby.agg()中传递参数? 最重要的是,我想将其与自定义函数一起使用,但是我将使用需要参数的内置函数来询问我的问题。 假设: 我该怎么做: 作为“分位数”的参数: 问题答案: 使用功能: 或者可以创建函数并将其名称设置为自定义列名称:

  • 问题内容: 我正在使用py.test来测试包装在python类MyTester中的某些DLL代码。为了进行验证,我需要在测试期间记录一些测试数据,然后再进行更多处理。由于我有许多test _…文件,因此我想在大多数测试中重用测试器对象的创建(MyTester的实例)。 由于tester对象是获得DLL变量和函数的引用的对象,因此我需要将DLL变量的列表传递给每个测试文件的tester对象(要记录的

  • 我需要在Spark SQL中传递参数。例如,下面的查询是Val timestamp=spark。sql(“从表中选择时间戳”)现在,我有另一个查询要在where类Spark中传递这个时间戳。sql(s“从表B中选择col1,其中timestamp='$timestamp'”。 但是上面的查询返回不匹配的表达式错误。有人能提出解决方案吗