当前位置: 首页 > 知识库问答 >
问题:

使用Spark在PostgreTable中使用JDBCUtils的truncateTable方法时出错

颛孙嘉石
2023-03-14

我试图使用JDBCUtils从Spark截断表postgre_table,但它抛出以下错误

val tructate_table=JdbcUtils.truncateTable()

我使用的是以下代码:

import org.apache.spark.sql.execution.datasources.jdbc._
import java.sql.DriverManager
import java.sql.Connection

val connection : Connection = DriverManager.getConnection(postgres_host + postgres_database,postgres_username,postgres_password)

val table_existing = JdbcUtils.tableExists(connection, postgres_host + postgres_database, postgre_table)
JdbcUtils.truncateTable(connection, postgres_host + postgres_database, postgre_table)

我可以删除表,但不能截断它。我可以在https://github . com/Apache/spark/blob/master/SQL/core/src/main/Scala/org/Apache/spark/SQL/execution/data sources/JDBC/JDBC utils . Scala中看到truncateTable方法

请提出一个解决方案,以及如何在databricks中使用它。

共有1个答案

诸葛卜霸
2023-03-14

看起来您的编译时和运行时火花库是不同的版本。请确保运行时版本与编译时版本的火花匹配。似乎该方法仅在2.1版中可用。

此版本提供:

https://github.com/apache/spark/blob/branch-2.1/sql/core/src/main/scala/org/apache/spark/sql/execution/datasources/jdbc/JdbcUtils.scala

 类似资料:
  • 这是我的代码:- 我已经仔细检查了所有的身份验证参数。 将主文件夹中的文件保存为状态。py后运行python状态。py出现以下错误:- 请帮帮我

  • 在此输入图像说明 error_------------------------------------------------------------Py4JJavaError Traceback(最近调用last)in()---->1 sparkDF=sqlcontext.read.format('com.databricks.spark) /home/ec2-user/spark/python

  • 我创建了一个新的Codenameone项目。它包含以下代码: 会有什么问题? 谢了。

  • 问题: 能够使用AWS CLI和Boto3成功下载文件。但是,在使用Hadoop/Spark的S3A连接器时,收到以下错误: 配置:在本地计算机上运行此配置 > Spark版本2.4.4 Hadoop版本2.7 贾尔斯补充道: > Hadoop-aws-2.7.3.jar aws-java-sdk-1.7.4.jar Hadoop配置: 读取文件的代码:

  • 我在apache Spark中读取本地文件时出错。scala>val f=sc.textfile(“/home/cloudera/downloads/sample.txt”)

  • 本文向大家介绍使用Spark进行实时流计算的方法,包括了使用Spark进行实时流计算的方法的使用技巧和注意事项,需要的朋友参考一下 Spark Streaming VS Structured Streaming Spark Streaming是Spark最初的流处理框架,使用了微批的形式来进行流处理。 提供了基于RDDs的Dstream API,每个时间间隔内的数据为一个RDD,源源不断对RDD进