无法在Yarn集群模式下运行Talend作业
我正在使用TOS 7.1和MapR 6.0发行版以及sprak2。2.
流程：主任务-
两份工作1
下面是集群模式的应用程序日志中的错误：线程“main”java中出现异常。lang.NoClassDefFoundError:例程/system/api/TalendJob。
从错误中
请建议。
共有1个答案
Talend创建了一个例程。加入/lib/directory。这是常规。jar为调用spark驱动程序所需的接口提供了强制定义，spark驱动程序上下文无法从调用Talend的边缘节点找到这个jar。
简单的解决方案是把这个罐子作为额外的所需纱线存档罐子传递，如果需要的话，还有任何其他的。我已经把这个罐子和其他所需的蜂巢/动物园管理员所需的罐子捆绑在一起，并移动到hdfs。这个hdfs路径是作为纱线存档罐子的额外火花属性提供的。
-
我试图从我的Spark2应用程序中使用Hadoop的copyToLocalFile函数将一个文件从HDFS复制到本地。
-
我是一名spark/纱线新手，在提交纱线集群上的spark作业时遇到exitCode=13。当spark作业在本地模式下运行时，一切正常。 我使用的命令是： Spark错误日志：
-
我试图在集群模式下实现Camel:Quartz2调度器。这是我的两条路线 我的Application.Properties如下所示
-
我试图在调试模式下启动我的android应用程序，但每次我检查它说这是错误的。更进一步，在buildtypes中定义的buildconfigField甚至不会显示在BuildConfig中。 这是我的gradle文件： 因此，在Android Studio中，我为我的应用程序选择了build Variant“debug”，但当我在应用程序中点击一个断点并检查的值时，无法解析字段，并且无法解析
-
我已经在我的Windows7机器上设置了一个本地spark集群（一个主节点和辅助节点）。我已经创建了一个简单的scala脚本，我用sbt构建了这个脚本，并尝试用Spark-Submit运行这个脚本。请参阅以下资源 Scala代码： 现在，我用sbt构建并打包scala代码，并将其打包到一个JAR中。我的build.sbt文件如下所示 它创建一个jar，我使用spark submit命令提交它，如下
-
我已经在Ubuntu上安装了hadoop 1.2.0。所有的服务namenode，sec namenode，datanode，jobtracker，tasktracker运行良好。 然后我安装了hbase-0-94.8，我希望配置也可以。但是HMaster无法在端口9000上启动。它实际上开始，然后下降。 >2014-05-14 09:28:37,015 INFO org.apache.hadoo