从SQL查询火花数据帧

Question

我正在尝试使用Apache Spark，以便将具有多个连接和子选择的（大型）SQL查询的结果加载到来自Spark的DataFrame中，如从SQL查询创建Spark Dataframe中所述。

不幸的是，我这样做的尝试导致了拼花错误：

线程“main”组织中出现异常。阿帕奇。火花sql。AnalysisException：无法推断拼花地板的架构。必须手动指定。

我从谷歌看到的信息表明，当数据帧为空时，就会发生此错误。然而，查询结果在DBeaver中加载了大量行。

下面是一个查询示例：

(SELECT REPORT_DATE, JOB_CODE, DEPT_NBR, QTY
    FROM DBO.TEMP 
    WHERE  BUSINESS_DATE = '2019-06-18' 
    AND   STORE_NBR IN (999) 
    ORDER BY BUSINESS_DATE) as reports

我的Spark代码如下所示。

val reportsDataFrame = spark
  .read
  .option("url", db2JdbcUrl)
  .option("dbtable", queries.reports)
  .load()

scheduledHoursDf.show(10)

我在前面的回答中读到，可以使用此方法对整个数据库运行查询。特别是，如果您在Spark中首次构建数据帧时将“dbtable”参数指定为别名查询，则会出现这种情况。您可以看到，我在查询中通过将整个查询指定为别名“as reports”来实现这一点。

我不认为这是一个重复的问题。我对这个具体问题进行了广泛的研究，没有发现任何人在网上面临同样的问题。特别是运行查询导致的拼花错误。

似乎大家一致认为，不应该以这种方式运行SQL查询，而应该使用Spark的DataFrames许多方法来过滤、分组和聚合数据。然而，即使会导致性能下降，但能够使用原始SQL对我们来说也是非常有价值的。

Answer 1

快速查看您的代码告诉我您丢失了。格式（“jdbc”）

val reportsDataFrame = spark
  .read
  .format("jdbc")
  .option("url", db2JdbcUrl)
  .option("dbtable", queries.reports)
  .load()

如果您设置了用户名和密码以连接到数据库，则应该可以这样做。

了解spark中JDBC源代码的良好资源(https://spark.apache.org/docs/latest/sql-data-sources-jdbc.html)