将JDBC ResultSet转换为Spark RDD/DataFrame

Question

我试图将JDBC的ResultSet转换成Spark RDD，并寻找一种有效的方法来使用Spark的并行特性。

以下是我按照这个https://stackoverflow.com/a/32073423/6064131实现的

val rs:ResultSet = stmt .getResultSet
val colCount = rs.getMetaData.getColumnCount

def getRowFromResultSet(resultSet: ResultSet): String ={
  var i:Int = 1
  var rowStr=""
  while(i<=colCount){
    rowStr=rowStr+resultSet.getString(i)+delim
    i+=1
  }
  rowStr
}

val resultSetList = Iterator.continually((rs.next(), rs)).takeWhile(_._1).map(r => {
  getRowFromResultSet(r._2) // (ResultSet) => (spark.sql.Row)
}).toList

val x = sc.parallelize(resultSetList)

现在的主要问题是它需要更多的时间，我知道所有数据集都是通过一根针提取的eye.But有没有更好的方法来实现这一点？

有些人可能想知道为什么我没有使用内置功能sqlContext.read.format来实现这一点，原因是Spark在查询周围包装了一个“SELECT*From（）”，这会给复杂的查询带来问题。有关详细信息，请参阅链接使用Cloudera JDBC Driver for Impala的Issuedwith子句-返回列名而不是实际数据

Answer 1

但是有没有更好的方法来实现这一点呢？

我不会重新发明轮子。如果您在最近的Spark版本（1.6非常旧）和JDBC驱动程序（我猜这是罪魁祸首）中仍然遇到同样的问题，只需CREATE VIEW并将其用于查询。

也不要忘记提交一份错误报告。