如何在Spark2.0中启用笛卡尔联接？[副本]

Question

我必须在Spark2.0中交叉连接2个数据帧，我遇到以下错误：

User类引发异常：

org.apache.spark.sql.AnalysisException: Cartesian joins could be prohibitively expensive and are disabled by default. To explicitly enable them, please set spark.sql.crossJoin.enabled = true; 

请帮助我在哪里设置这个配置，我正在Eclipse中编码。

Answer 1

错误消息明确指出，您需要将spark.sql.crossjoin.enabled=true设置为spark配置

您可以设置相同的内容，如下所示：

val sparkConf = new SparkConf().setAppName("Test")
sparkConf.set("spark.sql.crossJoin.enabled", "true")

然后通过传递此sparkconf获取或创建sparksession

val sparkSession = SparkSession.builder().config(sparkConf).getOrCreate()

那就加入...