apache-spark 1.3.0和yarn集成以及spring-boot作为容器

Question

我使用Spark1.0.2和独立模式，将spark应用程序作为查询服务运行（很像spark-shell，但在spring-boot的servlet容器中）。现在，在升级到Spark1.3.1并尝试使用Yarn而不是独立的集群之后，事情对我来说就变得南辕北辙了。我创建了具有所有依赖项（spark-core、spark-yarn、spring-boot）的uber jar，并尝试部署我的应用程序。

15/07/29 11:19:26 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032

15/07/29 11:19:27 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

15/07/29 11:19:28 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

15/07/29 11:19:29 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

我还试图排除spark-yarn依赖项，并在运行时提供了它，但同样例外。我们使用MapR发行版，他们说如果不使用spark-submit脚本，就不可能在yarn上运行spark作业。我可以尝试使用该脚本启动我的webapp，因为我的构建工件是spring-boot jar（而不是war)，但这感觉不太对。我应该能够从我的容器初始化服务，而不是其他方式。

编辑1：我如何启动我的应用程序：我从安装和配置hadoop客户机的机器上启动它。

java -cp myspringbootapp.jar com.myapp.Application

com.myapp.application反过来将SparkContext创建为spring托管bean。我稍后使用它来服务用户请求。

Answer 1

我只用了几个步骤：1）从uber jar中排除hadoop jar（spring-boot maven plugin默认提供uber jar，您需要进行排除）2）在spring boot maven plugin中使用ZIP布局，允许您在运行时使用Loader.Path spring配置来提供额外的类路径。3）使用java-loader.path='/path/to/hadoop/jar,/path/to/hadoop/conf/'-jar myapp.jar

我得到的错误是由于hadoop jar在类路径上没有正确的配置文件。默认情况下，hadoop jar用yarn-default.xml打包，它试图将资源管理器定位在0.0.0.0/0.0.0.0:8032。您仍然可以尝试打包hadoop jar，但一定要提供到自定义hadoop conf的路径。即yarn-site.xml，它为您的资源管理器主机、端口、ha等设置了适当的设置。