当前位置: 首页 > 知识库问答 >
问题:

强制删除spark pod驱动程序时,驱动程序不会重新启动

柏正平
2023-03-14

我有一份spark流媒体工作,我正试图由spark-k8运营商提交。我始终保持重启策略。但是,手动删除驱动程序时,驱动程序不会重新启动。我的yaml:

apiVersion: "sparkoperator.k8s.io/v1beta2"
kind: SparkApplication
metadata:
  name: test-v2
  namespace: default
spec:
  type: Scala
  mode: cluster
  image: "com/test:v1.0"
  imagePullPolicy: Never
  mainClass: com.test.TestStreamingJob
  mainApplicationFile: "local:///opt/spark-2.4.5/work-dir/target/scala-2.12/test-assembly-0.1.jar"
  sparkVersion: "2.4.5"
  restartPolicy:
    type: Always
  volumes:
    - name: "test-volume"
      hostPath:
        path: "/tmp"
        type: Directory
  driver:
    cores: 1
    coreLimit: "1200m"
    memory: "512m"
    labels:
      version: 2.4.5
    serviceAccount: spark
    volumeMounts:
      - name: "test-volume"
        mountPath: "/tmp"
    terminationGracePeriodSeconds: 60
  executor:
    cores: 1
    instances: 2
    memory: "512m"
    labels:
      version: 2.4.5
    volumeMounts:
      - name: "test-volume"
        mountPath: "/tmp"

Spark版本:2.4.5 apiVersion:“sparkoperator.k8s.io/v1beta2”

我遵循的步骤:

通过kubectl apply-f示例/spark测试创建资源。亚马尔。Pod创建成功。手动删除驱动程序。

预期行为:将根据重新启动策略重新启动新的驱动程序吊舱。

实际行为:已删除驱动程序和执行程序吊舱。

环境:在Mac上用Docker测试。具有4个CPU和8 GB内存

来自spark的日志-运算符{驱动程序pod失败,退出代码143,原因:错误}

共有1个答案

贲高寒
2023-03-14

spark-K8驱动程序有一个问题,现在已经修复,我可以看到手动删除的驱动程序正在重新启动。基本上代码没有处理默认值

https://github.com/GoogleCloudPlatform/spark-on-k8s-operator/pull/898

或者只需配置以下配置,即可不需要默认值“

restartPolicy:
    type: Always
    onFailureRetries: 3
    onFailureRetryInterval: 10
    onSubmissionFailureRetries: 3
    onSubmissionFailureRetryInterval: 10
 类似资料:
  • 我试图在远程节点上运行selenium网格代码,但它总是引发异常。 集线器: 它会听192.168.1.106:4444 节点: 它将在192.168.1.132:5566收听 Java代码: 节点日志: 操作系统:Fedora 23,Firefox版本50.1.0,selenium独立服务器3.0.1

  • 无法启动边缘驱动程序,我得到下面提到的错误和代码,我使用的是下面。请帮忙

  • 我试图通过网络驱动程序在“http://www.kayak.co.in/?ispredir=true”中选择入住和退房时间。无法选择任何日期。请帮帮我。

  • 在Eclipse BIRT数据资源管理器中为查询生成器添加JDBC数据库连接: 选择“查询生成器的JDBC数据库连接” 就这样。我可以使用此数据源来使用数据集。 下一个。 我希望使用更灵活的“JDBC数据源”,而不是以前成功使用的“查询生成器的JDBC数据库连接”。哦,我看到MySQL没有驱动程序类-Derby和Sample只有两个默认条目。 似乎JDBC驱动程序的有效注册没有添加(或注册?)司机

  • 问题内容: 输出 >无法连接到数据库服务器java.lang.ClassNotFoundException 问题答案: 看来您应该将MySQL驱动程序jar放入 类路径中 。

  • 问题内容: 我刚刚用Apache,MySQL和PHP安装了Debian Lenny,并且收到了PDOException 。 这是它所指的特定代码行: ,,,和是我所定义的常量。它在生产服务器(以及我以前的Ubuntu Server设置)上运行良好。 这与我的PHP安装有关吗? 搜索互联网没有帮助,我得到的只是专家交流和示例,但没有解决方案。 问题答案: 您需要有一个名为pdo_mysql的模块。在