我试图使用JDBCUtils从Spark截断表postgre_table,但它抛出以下错误
val tructate_table=JdbcUtils.truncateTable()
我使用的是以下代码:
import org.apache.spark.sql.execution.datasources.jdbc._
import java.sql.DriverManager
import java.sql.Connection
val connection : Connection = DriverManager.getConnection(postgres_host + postgres_database,postgres_username,postgres_password)
val table_existing = JdbcUtils.tableExists(connection, postgres_host + postgres_database, postgre_table)
JdbcUtils.truncateTable(connection, postgres_host + postgres_database, postgre_table)
我可以删除表,但不能截断它。我可以在https://github . com/Apache/spark/blob/master/SQL/core/src/main/Scala/org/Apache/spark/SQL/execution/data sources/JDBC/JDBC utils . Scala中看到truncateTable方法
请提出一个解决方案,以及如何在databricks中使用它。
看起来您的编译时和运行时火花库是不同的版本。请确保运行时版本与编译时版本的火花匹配。似乎该方法仅在2.1版中可用。
此版本提供:
https://github.com/apache/spark/blob/branch-2.1/sql/core/src/main/scala/org/apache/spark/sql/execution/datasources/jdbc/JdbcUtils.scala
这是我的代码:- 我已经仔细检查了所有的身份验证参数。 将主文件夹中的文件保存为状态。py后运行python状态。py出现以下错误:- 请帮帮我
在此输入图像说明 error_------------------------------------------------------------Py4JJavaError Traceback(最近调用last)in()---->1 sparkDF=sqlcontext.read.format('com.databricks.spark) /home/ec2-user/spark/python
我创建了一个新的Codenameone项目。它包含以下代码: 会有什么问题? 谢了。
问题: 能够使用AWS CLI和Boto3成功下载文件。但是,在使用Hadoop/Spark的S3A连接器时,收到以下错误: 配置:在本地计算机上运行此配置 > Spark版本2.4.4 Hadoop版本2.7 贾尔斯补充道: > Hadoop-aws-2.7.3.jar aws-java-sdk-1.7.4.jar Hadoop配置: 读取文件的代码:
我在apache Spark中读取本地文件时出错。scala>val f=sc.textfile(“/home/cloudera/downloads/sample.txt”)
本文向大家介绍使用Spark进行实时流计算的方法,包括了使用Spark进行实时流计算的方法的使用技巧和注意事项,需要的朋友参考一下 Spark Streaming VS Structured Streaming Spark Streaming是Spark最初的流处理框架,使用了微批的形式来进行流处理。 提供了基于RDDs的Dstream API,每个时间间隔内的数据为一个RDD,源源不断对RDD进