Kubernetes-Driver pod上的火花执行失败
我尝试使用Spark2.3本机kubernetes部署特性在kubernetes集群上运行简单的spark代码。
我有一个kubernetes集群在运行。此时，spark代码不读取或写入数据。它创建一个RDD from list并打印出结果，只是为了验证在Spark上运行kubernetes的能力。此外，还复制了kubernetes容器映像中的spark应用程序jar。
2018-03-06 10:31:28 INFO LoggingPodStatusWatcherImpl:54-状态已更改，新状态：pod名称:sparkApp-6E475A6AE18D3B7A89CA2B5F6AE7AAE4-驱动程序命名空间：默认标签:spark-App-Selector->spark-9649dd66e9a946d989e2136d342ef249,spark-role->驱动程序pod UID:6D3E98CF-2153-11E8-85AF-1204F474C8D2创建时间:2018-03-06T15:31:23Z服务帐户名称：默认卷：default-token-vwxvrrminated=containerstateterminated(containerid=docker://3617a400e4604600d5fcc69df396facafbb2d9cd485a63bc324c1406e72f0d35,exitcode=1,finishedat=time（time=2018-03-06t15:31:24z,additionalproperties={}）,message=null,reason=error,signal=null,startedat=time（time=2018-03-06t15:31:24z,additionalproperties={}）,
容器名称：spark-kubernetes-driver容器映像：myapp/sparkapp:1.0.0容器状态：终止退出代码：1
共有1个答案
下面是驱动程序pod提交的spark配置。我从K8s的UI中找到了这个。@tobish请告诉我这是否有助于解决我的问题。
SPARK_DRIVER_MEMORY: 1g
SPARK_DRIVER_CLASS: com.sparrkonk8.rdd.MockWordCount
SPARK_DRIVER_ARGS:
SPARK_DRIVER_BIND_ADDRESS:
SPARK_MOUNTED_CLASSPATH: /SparkApp.jar:/SparkApp.jar
SPARK_JAVA_OPT_0: -Dspark.kubernetes.executor.podNamePrefix=sparkapp-028d46fa109e309b8dfe1a4eceb46b61
SPARK_JAVA_OPT_1: -Dspark.app.name=sparkapp
SPARK_JAVA_OPT_2: -Dspark.kubernetes.driver.pod.name=sparkapp-028d46fa109e309b8dfe1a4eceb46b61-driver
SPARK_JAVA_OPT_3: -Dspark.executor.instances=5
SPARK_JAVA_OPT_4: -Dspark.submit.deployMode=cluster
SPARK_JAVA_OPT_5: -Dspark.driver.blockManager.port=7079
SPARK_JAVA_OPT_6: -Dspark.kubernetes.container.image=docker.com/myapp/sparkapp:1.0.0
SPARK_JAVA_OPT_7: -Dspark.app.id=spark-5e3beb5109174f40a84635b786789c30
SPARK_JAVA_OPT_8: -Dspark.master= k8s://https://k8-master
SPARK_JAVA_OPT_9: -Dspark.driver.host=sparkapp-028d46fa109e309b8dfe1a4eceb46b61-driver-svc.default.svc
SPARK_JAVA_OPT_10: -Dspark.jars=/opt/spark/work-dir/SparkApp.jar,/opt/spark/work-dir/SparkApp.jar
SPARK_JAVA_OPT_11: -Dspark.driver.port=7078`
-
在Spark独立集群中，主节点是否也运行任务？我不确定是否有Executors进程在主节点上旋转并与工作节点一起工作。 谢了！
-
我有一个Spark集群运行在hdfs之上的纱线模式。我启动了一个带有2个内核和2G内存的worker。然后我提交了一个具有3个核心的1个执行器动态配置的作业。不过，我的工作还能运转。有人能解释启动worker的内核数量和为执行者请求的内核数量之间的差异吗。我的理解是，由于执行者在工人内部运行，他们无法获得比工人可用的资源更多的资源。
-
一些脚本在工作时什么也不做，当我手动运行它们时，其中一个失败了，出现了以下消息： 错误SparkUI：未能绑定SparkUI java.net.bindexception：地址已在使用：服务“SparkUI”在重试16次后失败！ 所以我想知道是否有一种特定的方法来并行运行脚本？
-
我在火花流应用程序中从kafka读取数据并执行两个操作 将dstream插入hbase表A 更新另一个hbase表B 我想确保对于dstream中的每个rdd，插入hbase表A将在对hbase表B进行更新操作之前发生（每个rdd依次发生上述两个动作） 如何在火花流应用中实现这一点
-
我想从Spark v.1.6（使用scala）数据帧创建一个JSON。我知道有一个简单的解决方案，就是做。 但是，我的问题看起来有点不同。例如，考虑具有以下列的数据帧： 我想在最后有一个数据帧 其中C是包含、、的JSON。不幸的是，我在编译时不知道数据框是什么样子的（除了始终“固定”的列和）。 至于我需要这个的原因：我使用Protobuf发送结果。不幸的是，我的数据帧有时有比预期更多的列，我仍然会
-
在EMR集群或任何集群中，YARN有可能在同一个EC2实例中分配驱动程序和执行器吗？我想知道驱动程序是否可以利用1个EC2实例的存储和处理能力，或者该实例的某个部分将用于服务集群中运行的其他spark作业。这可能会导致我的驱动程序内存不足。 我认为资源管理器是根据集群资源的可用性来决定的？