使用Spark JdbcRDD读取PostgreSQL表时出错

Question

我试图在RDD中将PostgreSQL 9.6中的一个表读取到Spark 2.1.1中，我在Scala中有以下代码。

import org.apache.spark.rdd.JdbcRDD
import java.sql.DriverManager
import org.apache.spark.SparkContext

val sc = SparkContext.getOrCreate()

val rdd = new org.apache.spark.rdd.JdbcRDD(
    sc,
    () => {DriverManager.getConnection(
    "jdbc:postgresql://my_host:5432/my_db", "my_user", "my_pass")},
    sql = "select * from my_table",
    0, 100000, 2)

但是，它返回以下错误：

组织。阿帕奇。火花SparkException：作业因阶段失败而中止：阶段1.0中的任务0失败4次，最近的失败：阶段1.0中的任务0.3丢失（TID 7，10.0.0.13，执行者1）：组织。postgresql。util。PSQLException：列索引超出范围：1，列数：0。

我使用的是最新的PostgreSQL JDBC驱动程序，我已经检查过它是否能够正确地对数据库进行身份验证。

你知道为什么会发生这种情况吗？或者我可以尝试其他方法吗？

Answer 1

来自spark文档

查询必须包含两个 占位符

和

lowerBound第一个占位符参数的最小值；upperBound第二个占位符的最大值

因此，您的查询应该更像

select * from my_table where ? <= id and id <= ?