spark.sql.crossJoin。为Spark 2.x启用

Question

我正在使用带有Spark 2.0.0的“预览”Google DataProc Image 1.1。要完成我的一个操作，我必须完成一个笛卡尔乘积。从版本 2.0.0 开始，创建了一个禁止笛卡尔产品的 Spark 配置参数 （spark.sql.cross Join.enabled） 并抛出异常。如何设置 spark.sql.crossJoin.enabled=true，最好使用初始化操作？spark.sql.crossJoin.enabled=true

Answer 1

TPCDS查询集基准具有包含CROSS JOINS的查询，除非您显式地编写CROSS JOIN或动态地将Spark的默认属性设置为trueSpark.conf.set（"spark.sql.crossJoin.enabled"， true），否则您将遇到异常错误。

该错误出现在 TPCDS 查询 28、61、88 和 90 上，因为事务处理委员会 （TPC） 的原始查询语法包含逗号，并且 Spark 的默认联接操作是内部联接。我的团队还决定使用 CROSS JOIN 来代替更改 Spark 的默认属性。

Answer 2

要更改 Dataproc 中配置设置的默认值，您甚至不需要 init 操作，您可以在从命令行创建集群时使用 --properties 标志：

gcloud dataproc clusters create --properties spark:spark.sql.crossJoin.enabled=true my-cluster ...

Answer 3

火花

spark.sql.crossJoin.enable默认为true（SPARK-28621）。

火花

您可以使用交叉联接：

df1.crossJoin(df2)

它使您的意图明确，并保持更保守的配置，以防止意外的交叉连接。

火花2.0

SQL属性可以在运行时使用RuntimeConfig.set方法动态设置，因此您应该能够调用

spark.conf.set("spark.sql.crossJoin.enabled", true)

只要您想显式允许笛卡尔积。