同时使用Hive和MySql JDBC驱动程序

Question

TL；DR：同时使用Hive和MySql JDBC有问题吗？

我正在开发一个应用程序，它使用MySql JDBC驱动程序执行多个SQL查询，然后它还使用Hive JDBC发送另一个Hive查询。

现在发生的情况是，MySql查询正常工作，当代码尝试执行配置单元查询时，它会抛出以下异常：

com.mysql.cj.core.exceptions.WrongArgumentException: Connector/J cannot handle a database URL of type 'jdbc:hive2:'.
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
    at com.mysql.cj.core.exceptions.ExceptionFactory.createException(ExceptionFactory.java:54)
    at com.mysql.cj.core.conf.url.ConnectionUrl$Type.fromValue(ConnectionUrl.java:149)
    at com.mysql.cj.core.conf.url.ConnectionUrl.getConnectionUrlInstance(ConnectionUrl.java:193)
    at com.mysql.cj.jdbc.NonRegisteringDriver.connect(NonRegisteringDriver.java:195)
    at java.sql.DriverManager.getConnection(DriverManager.java:664)
    at java.sql.DriverManager.getConnection(DriverManager.java:247)
    at company.services.HiveV2Provider.createConnection(HiveProvider.scala:105)
    at company.services.HiveProvider$class.loanConnection(HiveProvider.scala:66)

现在，在抛出这个异常之后，查询将正确执行。

我的猜测是，由于我同时加载了MySql和Hive驱动程序，MySql驱动程序试图首先运行这个查询，但当它遇到Hive URL时，它会抛出这个异常，然后Hive驱动程序会看到它并正确地执行查询

这就是我执行MySql代码的方式：

val query = ... // query is created here
var mysqlConn: Connection = null
var stmt: Statement = null
try {
  Class.forName("com.mysql.jdbc.Driver")
  mysqlConn = DriverManager.getConnection(mysqlAddress, username, password)
  stmt = mysqlConn.createStatement()
  val rs = stmt.executeQuery(query)
  val returnVal = someResultSetHandlingFunction(rs)
  rs.close()
  returnVal
} catch {
  case NonFatal(e) =>
    logWarning(s"Failed to execute query on: $mysqlAddress", e)
    throw e
} finally {
  if (mysqlConn != null) {
    mysqlConn.close()
  }
}

我的配置单元代码看起来只有驱动程序名为:org.apache.Hive.jdbc.hivedRiver时才相同（它与jdbc:hive2:/someURL通信）

版本：

• 配置单元为hive-jdbc-1.1.0-cdh5.7.1
• MySQL是mysql-connector-java 6.0.4

有没有人知道有什么办法可以避免这个例外？加载2个不同的JDBC驱动程序有问题吗？阅读其他一些类似的问题，我得到的印象是这不应该是一个问题

只需澄清几点：

• 我知道直接使用JDBC可能不是最好的方法，但我正在检查一些内容，并且JDBC可以执行此任务
• 我正在使用Scala，但我认为这对这个问题并不重要

提前致谢

Answer 1

我差点忘了回答我的问题

所以这个问题很可能与这个bug有关。当我面对这个问题时，我没有注意到它只是一个堆栈跟踪打印，而不是一个实际的失败，所以它的问题比我预期的要少。

不管怎样，我看到在一些特定的版本中这个问题已经修复了，正如您在这里看到的，所以我只是将我的mysql版本更改为5.1.9（因为我不需要更高的版本来处理任何特定的事情），堆栈跟踪失败也就消失了。

如果有人能有更好的解决办法，我会很高兴的

干杯