Hadoop的Spring：CDH 5.8上的批处理Spark示例的问题

Question

我想逃跑

http://docs.spring.io/spring-hadoop/docs/current/reference/html/springandhadoop-spark.html

我修复了与以下内容相关的所有版本：

• 要上传到HDFS的Spark程序集是spark-assembly2.10-1.6.0-cdh5.8.0.jar；
• 将pom.xml中的spring-data-hadoop.version属性移动到2.4.0.release-cdh5；
• 将pom.xml中的属性spark.version移到1.6.

我试图通过以下命令提交Spark作业

• sudo-u hdfs spark-submit--class Hashtags--master yarn--deploy-mode cluster app/spark-hashtags2.10-0.1.0.jar hdfs://quickstart.cloudera:8020/demo/Hashtags/input/tweets.dat hdfs://quickstart.cloudera:8020/demo/Hashtags/output*

（模拟hdfs脚本手工准备输入和输出文件夹）

我能够检查资源管理器的日志，以便找到Spring Batch的tasklet生成的启动命令和spark-submit命令之间的任何区别，我发现：

• spark-submit包含以下内容:

org.apache.hadoop.yarn.server.resourceManager.amlauncher.amlauncher.amlauncher:启动容器container_1486926591393_0015_02_000001:ld_library_path=“/usr/lib/hadoop/lib/native:$ld_library_path”，{{JAVA_HOME}}/bin/java,-server,-xmx1024m,-djava.io.tmpdir={{PWD}}/tmp,类，'hashtags',--jar,file：/home/cloudera/spring-batch-spark/app/spark-hashtags2.10-0.1.0.jar,--arg,'/tmp/hashtags/input/tweets.dat',--arg,'/tmp/hashtags/output',--executor-memory,1024m,--executor-cores,1,--properties-file,{{PWD}}/spark_conf/spark_conf.properties,1>,/stdout,2>,/stderr

• Spring Batch的tasklet生成以下内容:

org.apache.hadoop.yarn.server.resourceManager.amlauncher.amlauncher.amlauncher:启动容器container_1486833100526_0006_01_000001:{{JAVA_HOME}}/bin/java,-server,-xmx1024m,-djava.io.tmpdir={{PWD}}/tmp,-dspark.yarn.app.container.log.dir=,-xx:maxpermsize=256m,org.apache.spark.deploy.yarn.applicationmaster hashtags2.10-0.1.0.jar,--arg,'hdfs://quickstart.cloudera:8020/demo/hashtags/input/tweets.dat“,--arg,'hdfs://quickstart.cloudera:8020/demo/hashtags/output',--executor-memory,1024m,--executor-cores,1,--properties-file,{{PWD}}/spark_conf/spark_conf.properties,1>,/stdout,2>,/stderr

正如您所看到的，spark-submit添加了LD_LIBRARY_PATH，而Spring batch的tasklet没有，因为这似乎是唯一不同的地方，所以我认为问题就在这里。

由于我对这一主题的知识很少，我无法理解幕后发生的事情。你们中有人遇到过这个问题吗？

感谢大家。圭多

Answer 1

感谢您的详细比较。我不认为LD_LIBRARY_PATH会导致这个特殊的错误，我想知道--arg值的差异是否有任何影响。对于spark-submit示例，您使用/tmpvs对于spring-hadoop示例使用hdfs://quickstart.cloudera:8020/demo/。您可以尝试使用hdfs://quickstart.cloudera:8020/demo/前缀的spark-submit吗？

更新：看起来Cloudera提供的程序集jar'spark-assembly-1.6.0-CDH5.8.0-Hadoop2.6.0-CDH5.8.0.jar'缺少Hadoop配置类，不能与“spring-data-hadoop-spark”特性一起使用。您必须在他们的下载中使用Spark项目提供的完整的assembly jar。我用'spark-assembly-1.6.2-hadoop2.6.0.jar'进行了测试，它在Cloudera QuickStart VM5.8上运行良好。