当前位置: 首页 > 知识库问答 >
问题:

spark cassandra应用程序失败,接收到的信号为15:SIGTERM

淳于健
2023-03-14

但我不断得到以下错误

16/03/30 11:57:07错误executor.coarsegrainedexecutorbackend:驱动程序10.225.46.84:60637已断开关联!关机。

此外,cassandra连接,然后断开

INFO Cluster: New Cassandra host /10.229.84.123:9042 added

INFO LocalNodeFirstLoadBalancingPolicy: Added host 10.229.84.123 (us-east)

INFO Cluster: New Cassandra host /10.229.19.210:9042 added -> This is Seed Node
(This Message -> INFO LocalNodeFirstLoadBalancingPolicy: Doesnt show for Seed Node)

INFO Cluster: New Cassandra host /10.95.215.249:9042 added

INFO LocalNodeFirstLoadBalancingPolicy: Added host 10.95.215.249 (us-east)

INFO Cluster: New Cassandra host /10.43.182.167:9042 added

INFO LocalNodeFirstLoadBalancingPolicy: Added host 10.43.182.167 (us-east)

INFO Cluster: New Cassandra host /10.155.34.67:9042 added

INFO LocalNodeFirstLoadBalancingPolicy: Added host 10.155.34.67 (us-east)

INFO Cluster: New Cassandra host /10.237.235.209:9042 added

INFO LocalNodeFirstLoadBalancingPolicy: Added host 10.237.235.209 (us-east)

INFO CassandraConnector: Connected to Cassandra cluster: dmp Cluster

INFO CassandraConnector: Disconnected from Cassandra cluster: dmp Cluster

我不知道这里似乎有什么问题,因为我以前运行过这个应用程序,它成功地运行了

使用的POM是

  <dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.10</artifactId>
    <version>1.6.0</version>
  </dependency>

  <dependency>
    <groupId>com.datastax.spark</groupId>
    <artifactId>spark-cassandra-connector_2.10</artifactId>
    <version>1.4.0-M1</version>
  </dependency>

  <dependency>
   <groupId>com.datastax.cassandra</groupId>
   <artifactId>cassandra-driver-core</artifactId>
   <version>2.1.6</version>
  </dependency>

  <dependency>
   <groupId>com.datastax.spark</groupId>
   <artifactId>spark-cassandra-connector-java_2.10</artifactId>
   <version>1.4.0-M1</version>
  </dependency>

共有1个答案

鲁才艺
2023-03-14

找到了解决方案,因为spark-cassandra-connector 1.4.0-M1有一个bug,这里提到了https://datastax-oss.atlassian.net/browse/sparkc-214

所以当我使用下一个版本ie 1.4.0-M2时。效果很好。

但似乎最奇怪的是,这已经在1.4.0-M1中起作用了。

 类似资料:
  • 奇怪的问题 我试图关闭我的Java应用程序正确接收信号,要么通过杀死手动发送。我试图杀死SIGTERM、SIGHUP、SIGINT等。每次JVM停止而不调用运行时关闭钩子时,最终阻止或信号陷阱在Java代码中创建。 并在shutdownHook不起作用时添加了处理程序 我在Ubuntu 12.04上运行,Java版本为“1.6.0_24” OpenJDK运行时环境(IcedTea6 1.11.5)

  • 尝试在Heroku云中部署Spring Boot应用程序,但编译java应用程序时出现错误,但在我的本地计算机中运行良好。

  • 我正在尝试用glew/glfw构建一个OpenGL应用程序。我下载了二进制文件,将它们放在文件夹的根目录中,将路径添加到include和lib目录,并告诉我的项目需要glew32。lib,GLFW。lib和opengl32。lib。 我甚至复制了glew32。因为我的项目看不到,所以将lib添加到根目录。 我必须保留项目目录中的所有依赖项,因为我将分发它。我不知所措。 现在,当我运行我的程序时,它

  • 我运行< code>heroku open时出现应用程序错误。我查了日志,这是: 2016-06-19T05:22:44.640391 00:00 heroku[路由器]:at=错误代码=H10 desc=“应用程序崩溃”方法=获取路径=“/”主机=drawparty-.herokuapp。com request_id=6712804b-95f9-49ce-92a5-7f45df7bb79e fw

  • 在我尝试运行ionic cordova应用程序后,这个错误随机出现。这不仅发生在我一直在工作的分支上,也发生在我尝试运行的其他分支上,这让我相信这是我的机器的问题。我尝试重新启动并重新安装这些软件包,但问题仍未解决。

  • 问题内容: 我正在尝试在docker容器中运行用golang编写的服务器。例如: 如果我在本地计算机上运行此代码,则可以将其发送给with ,它将关闭应用程序。当我在docker容器中运行它时,我似乎无法使用杀死它。 然后,我继续使用docker向容器发送信号。 仍在运行… 仍在运行… 终于死了。 我没有在代码中捕获任何信号并忽略它们。我什至尝试增强上面的代码以捕获信号并将其打印出来(这在我的主机