当前位置: 首页 > 知识库问答 >
问题:

如何在独立和客户端模式下终止作业?

商昂然
2023-03-14

我使用spark-submit来运行一个作业,它有一些异常,它被阻塞了,所以我尝试使用Ctrl+C来停止进程。

>

  • 我想知道这个作业是否还在集群上运行?

  • 共有1个答案

    郑波
    2023-03-14

    它取决于资源管理器。在我的例子中,Ctrl+C在纱线上工作很好,工作被杀死,你仍然呆在火花壳里。此外,您可以从Spark WEB UI或从Yarn杀死job。

     类似资料:
    • 我已经在我的本地安装了mesos,并按照mesos设置中提到的进行了配置。现在我想在本地机器上安装的mesos上运行spark。我已经根据官方文档配置了spark,并在我的本地机器上运行了单节点hadoop集群。Spark二进制包被复制到hdfs根目录,我已经在spark-env.sh中设置了以下属性: 是Spark-Defaults.conf:

    • 我是Spark的新手。 spark_executor_instances=3 spark_executor_cores=1 spark_driver_memory=2g 我还通过确认了它只有一个执行器,并且只有主节点()上的执行器。 INFO yarn.client:启动Spark应用程序的命令master:List($java_home/bin/java,-server,-xmx2048m,-d

    • 我正在使用https://apacheignite-mix.readme.io/v1.7/docs/automatic-persistence将数据从数据库加载到Ignite缓存中。 我使用Ignite客户端模式运行代码,并希望将数据加载到Ignite集群中。 null

    • 抛出错误 到目前为止,我在Hadoop中只有start-dfs.sh,在Spark中并没有真正配置任何内容。我是否需要使用YARN集群管理器来运行Spark,以便Spark和Hadoop使用相同的集群管理器,从而可以访问HDFS文件? 我尝试按照tutorialspoint https://www.tutorialspoint.com/Hadoop/hadoop_enviornment_setup

    • 我试图从一个简单的独立Java客户端(一个类)以编程方式在WebLogic(10.3.4)中创建用户-- } 关于我应该做什么样的上下文查找,有什么想法吗?“java:comp”抛出一个javax。命名。NameNotFoundException;看起来我只能在容器中使用它。

    • 我正在做一个正在改造/现代化的项目,其中有一个小的RMI部分,不幸的是,我以前从未与RMI合作过。 我不明白的一件事是,为什么在我最初创建RMI客户端之后,它一直调用其自定义SocketFactory构造函数。似乎每5分钟我就会看到一次调用构造函数的输出,即使客户端和服务器之间没有通信。 连接完成后,我应该做什么来清理和停止任何线程以进行持久化? 我在检查UnicastRemoteObject,也