当前位置: 首页 > 知识库问答 >
问题:

在Amazon EMR上运行带有输入参数的自定义jar文件

高宸
2023-03-14

所以,我正在尝试在Amazon EMR上运行WordCount hadoop应用程序。我有自己的数据文件,我上传到abc桶。我还在abc桶下添加了wordcount.jar文件。有人能告诉我当我们创建集群时,我们如何给出数据文件的路径,我们是否也需要给出输出目录路径,如果是,那么我如何给出输出目录路径?

共有1个答案

夹谷成龙
2023-03-14

数据文件作为参数传递到Jar,数据文件存在于S3存储桶上。输出也是一个s3存储桶,在这种情况下,您可以使用同一个存储桶,只需在存储桶中 /output一个目录并将所有输出发送到那里。

html" target="_blank">https://blog.safaribooksonline.com/2013/05/07/running-hadoop-mapreduce-jobs-on-amazon-emr/

“”“我们的WordCount JAR文件将采用JAR的主文件,然后是您上载输入数据和输出路径的bucket名称。请注意,您只需提供路径,而不必提供精确的文件名。此外,请确保输出路径中不存在输出文件。指定输入和输出路径的格式为:s3n:///path。”“”

 类似资料:
  • 我想有一个gradle项目,使用自定义任务创建一个jar(不使用任何gradle java插件)。什么是正确的方法来构建build.gradle,以便我可以在我的Android应用程序的gradle项目中依赖它? 更多详情: 目前,我的jar文件是在我从gradle调用的cmake项目中创建的。我想要一个合适的体形。调用我的cmake命令的gradle文件然后使用生成的jar作为工件。然后,我希望

  • 在WeDriver采样器中,我想使用JavaImporter调用我自己的类,该类将执行登录页面的测试。插入用户名和密码并输入。 like to是这样使用的:var pkg=JavaImport(org.openqa.selenium,org.openqa.selenium.support.ui)varsupport_ui=JavaImport(org.openqa.selenium.support

  • 问题内容: 我的扩展程序具有一个包含项目的上下文菜单。我想要做的是:右键单击html元素(例如,输入或文本区域),然后选择并单击菜单中的某个项目时- 由扩展名定义的某些值将输入到输入中。 目前,我已经意识到。 简单的输入就可以了。 当存在具有自定义事件处理的输入(例如日历或电话输入或货币输入)时,问题就开始了,这些输入以某种方式转换了用户输入。 由于我直接在元素上设置了一个值-省略了处理逻辑,这会

  • 我在JDK11上有一个使用maven的spring-boot应用程序,具有以下liquibase依赖项: changelog主文件名为db.changelog.xml,位于ProiectTest\src\main\resources\db下,在Application.Properties上具有以下配置: 我是不是漏掉了什么?根据我的了解,application.properties上的属性是所需要

  • 问题内容: 我发现ChkBugReport非常有趣:http: //developer.sonymobile.com/knowledge-base/tools/analyse-your-bugreports-with- our-open-source-tool/ 所以我想以一种简单的方式在Windows7上使用它。 为了使用jar中的工具,我需要在命令提示符下键入以下内容: java -jar C

  • 问题内容: 我希望有一个输入字段,用户可以输入自定义文本值或从下拉菜单中选择。普通只提供下拉选项。 我如何才能接受自定义值?例如:福特? 问题答案: HTML5具有内置的组合框。您创建一个文本和一个。然后,您向中添加一个属性,其值为的。 更新: 自2019年3月起,所有主要浏览器(现在包括Safari12.1和iOSSafari12.3)都支持此功能所需的级别。有关详细的浏览器支持。 看起来像这样