火花速度试验

Question

我通过jdbc连接到一个有500'000'000行和14列的数据库。

下面是使用的代码：

from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()

properties = {'jdbcurl': 'jdbc:db:XXXXXXXXX','user': 'XXXXXXXXX', 'password': 'XXXXXXXXX'}

data = spark.read.jdbc(properties['jdbcurl'], table='XXXXXXXXX', properties=properties)

data.show()

上面的代码花了9秒来显示DB的前20行。

后来，我创建了一个SQL临时视图

data[['XXX','YYY']].createOrReplaceTempView("ZZZ")

sqlContext.sql('SELECT AVG(XXX) FROM ZZZ').show()

上面的代码用了1355.79秒（大约23分钟）。这样可以吗？这似乎是一个大量的时间。

最后，我尝试计算数据库的行数

sqlContext.sql('SELECT COUNT(*) FROM ZZZ').show()

用了2848.95秒（约48分钟）。

是我做错了什么，还是这些数额是标准的？

Answer 1

当您使用这种方法读取jdbc源代码时，您就会失去并行性，Spark的主要优点。请阅读正式的spark jdbc指南，特别是关于partitioncolumn、lowerbound、upperbound和numpartitions的指南。这将允许spark并行运行多个JDBC查询，从而得到分区数据帧。

此外，调优fetchsize参数可能有助于某些数据库。