当前位置: 首页 > 知识库问答 >
问题:

从Java应用程序在hadoop 2.2(纱线)上启动mapreduce作业

井宪
2023-03-14

我正在尝试从Java应用程序调用mapreduce作业。在以前的hadoop版本(1.x)中,我创建了一个配置对象和一个作业对象,在配置中设置mapred.Job.tracker和fs.default.name并运行作业。现在,在Hadoop2.x中,作业跟踪器不再存在,也不存在任何关于如何以编程方式运行MR1作业的文档。有什么想法吗?

我要找的是这里给出的解释:从一个简单的Java程序调用一个mapreduce作业

共有1个答案

通令
2023-03-14

MR客户端API对于遗留MR和YARN是相同的。可以在配置对象上设置属性,而不是在xml配置文件中指定属性。在这里和这里检查文档和所需的配置,以便在YARN中设置和执行一个简单的MR作业。

 类似资料:
  • 当我的应用程序启动时,将创建一个executor服务(在java.util.concurrent中使用Executors.NewFixedThreadPool(maxThreadNum))对象。当请求到来时,executor服务将创建线程来处理它们。 当应用程序启动时,它将在executorService池中创建200个线程。 只是想知道当应用程序启动时,这是一种正确的创建线程的方法吗?还是有更好

  • 我有一份Java申请。 应用程序有一个决定应用程序是否在启动时启动的设置。 目前,我通过在StartUp items文件夹中放置/删除快捷方式实现了这一点。 然而,我想知道是否有更好的方法来处理这种行为。 编辑 是的,是视窗。抱歉之前没有清除。 应用程序有一个UI,用户可以在其中触发操作,并且应用程序在运行时定期在后台运行一些任务。 @Peter,如何使用应用程序中的代码更改注册表?这种方法是否与

  • 即使是一个简单的WordCount mapduce也会因相同的错误而失败。 Hadoop 2.6.0 下面是纱线原木。 似乎在资源协商期间发生了某种超时 但我无法验证这一点,即超时的确切原因。 2016-11-11 15:38:09313信息组织。阿帕奇。hadoop。纱线服务器resourcemanager。amlauncher。AMLauncher:启动appattempt\u 1478856

  • 我正在试着写这篇文章,在我设置包的时候使用react计算器。带有提供了更多详细信息,错误消息显示在此处。 max@DESKTOP-4J1U771 MINGW64~/Documents/react计算器(主)$纱线开始纱线运行v1。7.0警告包。json:没有许可证字段$babel节点/服务器/服务器。js C:\Users\max\Documents\react calculator\node\u

  • 我已经编写了一个Java应用程序,它可以构建flume配置文件,并将它们写入Linux机器上的磁盘。然后,应用程序构建flume命令,并尝试通过运行以下代码中的命令来启动flume代理: 如果我接受flume命令并通过终端手动执行它,它工作得很好。当java应用程序尝试执行flume命令时,什么都没有发生。这是类路径问题吗? Flume Command here: /root/flume-flum

  • 问题内容: 我有一个Java应用程序。 该应用程序具有一个设置,该设置决定该应用程序是否在启动时启动。 目前,我可以通过在“启动项目”文件夹中放置/删除快捷方式来实现此目的。 但是,我想知道是否有更好的方法来处理此行为。 编辑 是的,它是Windows。抱歉,之前没有清除该内容。 该应用程序具有一个用户可以在其中触发动作的UI,并且该应用程序在运行时会定期在后台运行一些任务。 @Peter,如何在