使用Apache Ignite Hadoop加速器提交Hadoop作业
免责声明：我对Hadoop和Apache Ignite都不熟悉。抱歉冗长的背景信息。
设置：我已经安装并配置了Apache Ignite Hadoop加速器。全部启动。sh提供以下服务。我可以提交Hadoop作业。他们完成了，我可以看到预期的结果。start all使用传统的core站点、hdfs站点、mapred站点和Thread站点配置文件。
28336 NodeManager
28035 ResourceManager
27780 SecondaryNameNode
27429 NameNode
28552 Jps
27547 DataNode
我还安装了Apache Ignite 2.6.0。我能够启动ignite节点，使用web控制台连接到它。我能够从MySQL加载缓存，并对该缓存运行SQL查询和java程序。
为了使用ignited Hadoop运行Hadoop作业，我创建了一个单独的ignite config目录，在其中我根据Apache ignite网站中的说明自定义了核心站点并映射了站点配置。
问题：当我使用命令运行Hadoop作业时：
hadoop --config ~/ignite-conf jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.0.jar wordcount input output1
我得到以下错误（注意，相同的作业在Hadoop上成功运行/没有点燃）：
java.io.IOException：获取新作业ID失败。
... ...
原因：类org.apache.ignite.internal.client.GridClientDisConnectedException：最新拓扑更新失败。
原因：类别组织。阿帕奇。燃烧内部的客户GridServerUnreachableeException：无法连接到列表中的任何服务器：[/：13500]
... ...
看起来，有人试图查找jobtracker（13500），但找不到。从上面的服务列表中，很明显job tracker没有运行。然而，这项工作在未点燃的hadoop over纱线上运行良好。
你能帮帮忙吗？
共有1个答案
这在我的情况下得到了解决。这里的作业跟踪器意味着Apache Ignite内存缓存服务监听端口11211。在地图站点中进行此更改后。xml，作业已运行！
-
我正在使用Hadoop处理一个mapreduce项目。我目前有3个连续的工作。 我想使用Hadoop计数器，但问题是我想在第一个作业中进行实际计数，却在第3个作业的reducer中访问计数器值。 我怎样才能做到这一点呢？我应该在哪里定义？我需要通过它扔第二个工作吗？这也将有助于看到一些代码示例这样做，因为我还没有找到任何东西。 注意：我使用的是Hadoop 2.7.2 编辑：我已经尝试了这里解释的
-
也许一定有一个更合适的方式来提交火花工作。有人知道如何将Apache Spark作业远程提交到hDinsight吗？ 多谢！
-
使用coreMotion，实现一个小球在一个框内根据iPhone的倾斜方向和倾角大小以相应的加速度运动。 [Code4App.com]
-
问题内容： 但是有很多歧义和提供的一些答案…包括在jars / executor / driver配置或选项中复制jar引用。 How ClassPath is affected Driver Executor (for tasks running) Both not at all Separation character: comma, colon, semicolon If provided
-
我正在努力使JavaFX助记功能发挥作用。我在现场有一些按钮，我想要实现的是通过按Ctrl+S来激发这个按钮事件。以下是代码Sceleton：
-
我是新来的。我想学习和实践机器学习，HDInsight正是我想要的，但似乎没有直接的API到Mahout。由于mahout推荐将从本质上转换为mapredure作业，因此我遵循Windows Azure文档中的一些mapreduce示例，编写了以下代码： 我已经将“mahout-core-0.9-job.jar”上传到指定的Azure blob存储容器中的/example/jars。 在我搜索了i