Spark使用ur命令读取jdbc db2

Question

我正在尝试使用read.jdbc从Db2中提取数据以实现spark。无法在查询中传递UR字符串。

如何在spark jdbc读取中将隔离设置为UR。

import json
#spark = SparkSession.builder.config('spark.driver.extraClassPath', '/home/user/db2jcc4.jar').getOrCreate()
jdbcUrl = "jdbc:db2://{0}:{1}/{2}".format("db2.1234.abcd.com", "3910", "DSN")
connectionProperties = {
  "user" : "user1",
  "password" : "password1",
  "driver" : "com.ibm.db2.jcc.DB2Driver",
  "fetchsize" : "100000"
}
pushdown_query = "(SELECT T6.COLUMN1, T6.COLUMN2 ,TO_DATE('07/11/2019 10:52:24', 'MM/DD/YYYY HH24:MI:SS') AS INSERT_DATE FROM DB1.T6 WITH UR ) ALIAS"
print(jdbcUrl)
df = spark.read.jdbc(url=jdbcUrl, table=pushdown_query, column="COLUMN1", lowerBound=1, upperBound=12732076, numPartitions=5, properties=connectionProperties)

这将失败，错误:com.ibm.DB2.jcc.am.sqlsyntaxerrorexception：DB2 SQL error：sqlcode=-199,sqlstate=42601,sqlerrmc=ur；fetch,）OFFSET LIMIT INTERSECT ORDER GROUP WHERE HAVING JOIN,driver=4.13.80

jdbc中有connection参数，但该参数仅适用于编写isolationLevel（事务隔离级别），它适用于当前连接。它可以是NONE、READ_COMMITTED、READ_UNCOMMITTED、REPEATABLE_READ或SERIALIZABLE之一，对应于JDBC的Connection对象定义的标准事务隔离级别，默认为READ_UNCOMMITTED。此选项仅适用于写作。请参阅java.sql.Connection中的文档。

下面的内容能奏效吗？

connectionProperties = {
      "user" : "user1",
      "password" : "password1",
      "driver" : "com.ibm.db2.jcc.DB2Driver",
      "fetchsize" : "100000",
"isolationLevel" : "READ_UNCOMMITTED" 
    }

Answer 1

根据文档和本博客，在读取操作中会忽略isolationLevel。

老实说，我不明白为什么，因为java.sql.connection setIsolationLevel为整个连接设置了默认值，而read本身并没有设置isolationLevel。

然而，这里提供了一种不同的方法。

#spark = SparkSession.builder.config('spark.driver.extraClassPath', '/home/user/db2jcc4.jar').getOrCreate()
jdbcUrl = "jdbc:db2://{0}:{1}/{2}".format("db2.1234.abcd.com", "3910", "DSN")
connectionProperties = {
  "user" : "user1",
  "password" : "password1",
  "driver" : "com.ibm.db2.jcc.DB2Driver",
  "fetchsize" : "100000"
}

df = spark.read.jdbc(url=jdbcUrl, table="DB1.T6", predicates=["1=1 WITH UR"], properties=connectionProperties).select("COLUMN1", "COLUMN2", ...)

我使用1=1子句创建了一个有效的where条件。这个摊派看起来，好像一定有一个更干净的方法，但它的工作很好