从JDBC创建火花数据框时如何指定sql方言？

Question

我在使用Spark通过自定义JDBC读取数据时遇到了一个问题。我如何重写通过jdbcurl推断的sql方言？

有问题的数据库是vitess(https://github.com/youtube/vitess ),它运行一个mysql变体，所以我想指定一种mysql方言。jdbc url以jdbc:vitess/开头

否则，数据帧读取器将推断出使用“”作为引号标识符的默认方言。因此，通过 spark.read.jdbc 的查询将作为

从表中选择“id”、“col2”、“列3”、“等”

它选择字符串表示形式而不是列值，而不是

从表中选择id、列2、列3等

Answer 1

你可以做这样的事情。

val jdbcDF = spark.read
  .format("jdbc")
  .option("url", "jdbc:postgresql:dbserver")
  .option("dbtable", "schema.tablename")
  .option("user", "username")
  .option("password", "password")
  .load()

有关更多信息，请查看此选项

也可以这样指定。

val connectionProperties = new Properties()
    connectionProperties.put("user", "username")
    connectionProperties.put("password", "password")
    val jdbcDF2 = spark.read
      .jdbc("jdbc:postgresql:dbserver", "schema.tablename", connectionProperties)

Answer 2

也许已经太迟了。但接下来会有答案:

创建您的自定义方言，就像我对ClickHouse数据库所做的那样（我的jdbc连接url看起来像这样jdbc:clickhouse://localhost:8123)

 private object ClickHouseDialect extends JdbcDialect {
    //override here quoting logic as you wish
    override def quoteIdentifier(colName: String): String = colName

    override def canHandle(url: String): Boolean = url.startsWith("jdbc:clickhouse")
  }

并将其注册到您的代码中的某个位置，如下所示：

JdbcDialects.registerDialect(ClickHouseDialect)