当前位置: 首页 > 知识库问答 >
问题:

有时无法用spark打开本机连接

壤驷坚
2023-03-14

我正在用Spark版本1.4和Cassandra 2.18运行一个Spark工作。我从master远程登录,它可以工作到cassandra机器。有时作业运行良好,有时我得到以下异常。为什么有时候会这样?

“线程”main“org.apache.spark.sparkException中的异常:由于阶段失败而中止作业:阶段0.0中的任务0失败了4次,最近的失败:阶段0.0中的任务0.3丢失(TID 7,172.28.0.162):java.io.ioException:在{172.28.0.164}打开到Cassandra的本机连接失败:9042在

它有时也会给我这个例外,以及上面的例外:

由:com.datastax.driver.core.exceptions.noHostAvailableException引起:所有主机尝试查询失败(尝试:/172.28.0.164:9042(com.datastax.driver.core.transportException:[/172.28.0.164:9042]连接已关闭))

共有1个答案

呼延曜灿
2023-03-14

本周,当我将Python spark移植到Java spark时,第二个错误“NohostAvailableException”在我身上发生了很多次。

我遇到了驱动线程内存不足的问题,GC占用了我所有的核心(所有8个核心的98%),一直暂停JVM。

在python中,当这种情况发生时(对我来说)要明显得多,所以我花了一些时间才意识到发生了什么,所以我多次遇到这种错误。

    null
 类似资料:
  • 我正在使用spring hibernate开发一个应用程序,如果我使用的是199.892.2.345这样的数据库,我就可以连接到该数据库并执行cud操作,但是如果我将其更改为spring config中的Vinayaka.cloudapp.net,111这样的云数据库,我会得到下面的错误,下面是我正在使用的spring config文件, 错误

  • 我们使用PgBouncer作为基于spring的应用程序连接池的中间件。在应用程序中,我们使用HikariCP进行应用程序级连接池。 我们将HikariCP的值设置为一小时,将设置为30秒。

  • 我生成了一个。我的SpringMVC Maven Hibernate MySQL应用程序的war文件,该应用程序在本地主机和本地MySQL数据库上运行良好。我配置数据库的方式是通过WebAppConfig。查看应用程序的java文件。属性文件并检索适当的信息。 然后我创建了一个OpenShift帐户并部署了它。war文件。我添加了MySQL和PHPMyAdmin盒带,以便维护数据库。当我试图通过我

  • 我已经在Ubuntu 14.04上安装了hadoop 2.7.1。安装后,当我运行jps命令时,它显示如下: Sukalyan@sukalyan-lenovo-g50-80:~$jps 7099数据阳极 可以清楚地看到namenode丢失了,因此当我在浏览器上运行localhost:50070时,它显示“problem loading page”。我尝试了许多解决方案,但没有一个是不幸的。可能是什

  • 我正在使用Hibernate、Java和MySQL以及一个多线程应用程序,当我试图打开一个事务时,有时会抛出以下异常。 冬眠动物。JAVA 堆栈跟踪 连接打开,有时会出现此错误。为什么?

  • 我在hibernate newbie中使用Spring,我遵循了一步一步的教程,在mysql中它可以工作,但是如果我改为firebird,我会遇到下一个错误。 Estado HTTP 500 - 请求处理失败;嵌套的异常是组织.springframework.事务.无法创建事务异常:无法打开Hibernate会话进行交易;嵌套异常是组织.Hibernate.异常.通用JDBC异常: 无法打开连接