SparkPi程序在Yarn/Spark/Google计算引擎下运行
在Google Compute Engine上部署了一个Hadoop(Yarn+Spark)集群，有一个主服务器和两个从服务器。当我运行以下shell脚本时：
spark-submit--class org.apache.spark.examples.sparkpi--主纱-集群--num-executors 1--驱动程序-内存1G--executor-memory 1G--executor-cores 1/home/hadoop/spark-install/lib/spark-examples-1.1.0-hadoop2.4.0.jar 10
该作业只是继续运行&每一秒我都会收到类似于这样的消息：
15/02/06 22:47:12 INFO yarn.Client: Application report from ResourceManager:
application identifier: application_1423247324488_0008<br>
appId: 8<br>
clientToAMToken: null<br>
appDiagnostics:<br>
appMasterHost: hadoop-w-zrem.c.myapp.internal<br>
appQueue: default<br>
appMasterRpcPort: 0<br>
appStartTime: 1423261517468<br>
yarnAppState: RUNNING<br>
distributedFinalState: UNDEFINED<br>
appTrackingUrl: http://hadoop-m-xxxx:8088/proxy/application_1423247324488_0008/<br>
appUser: achitre
共有1个答案
使用--master yarn-cluster代替--master yarn-client
-
有没有一种方法可以暂停Dataproc群集，这样当我不积极运行火花外壳或火花提交作业时就不会收到账单？此链接处的群集管理说明：https://cloud.google.com/sdk/gcloud/reference/beta/dataproc/clusters/ 仅演示如何销毁群集，但我安装了spark cassandra连接器API。这是我创建每次都需要安装的映像的唯一选择吗？
-
配置 大部分为Spark on YARN模式提供的配置与其它部署模式提供的配置相同。下面这些是为Spark on YARN模式提供的配置。 Spark属性 Property Name Default Meaning spark.yarn.applicationMaster.waitTries 10 ApplicationMaster等待Spark master的次数以及SparkContext初始
-
我有错误： 应用程序application_1404470405736_0044失败3次，原因是appattempt_1404470405736_0044_000003的容器退出，退出代码：1原因是：容器异常-启动：org.apache.hadoop.util.shell$exitcodeexception：在org.apache.hadoop.util.shell.runcommand(shel
-
我希望有人能告诉我这是我的代码的问题还是dompdf GAE的错误。 下面的代码使用Google App Engine SDK在我的本地开发服务器上工作，但不在live GAE项目上工作。 其他基于文件的图像也可以工作，但我无法让任何base64图像（包括这个简单的示例图像）在线工作。 输出给出一个带有X的框，表示“未找到图像或类型未知”。 有什么想法吗？
-
因为我正在处理这么多PubSub消息，所以我正在为计算引擎创建一个模板，该模板以以下两种方式中的任何一种方式使用自动缩放： 到目前为止，一切都很好。选项一可扩展到大约8个实例，而第二个选项将启动最大数量的实例。现在我发现有些奇怪的事情会发生，这就是我在这里发帖的原因。也许你能帮我？！ 消息重复：每个实例中的PubSub服务（compute engine中docker容器内的Python脚本）似乎在
-
我一直在努力了解如何在谷歌云上设置以下架构： 谷歌应用引擎收到HTTP请求