当前位置: 首页 > 知识库问答 >
问题:

Spark 2.4应用程序引发拼花错误

林礼骞
2023-03-14

我在用spark-submit(2.4.0)提交的spark应用程序中发现了这个异常

用户类引发异常:org.apache.spark.sql.analysisException:为parquet找到了多个源(org.apache.spark.sql.execution.datasources.parquet.parquetFileFormat,org.apache.spark.sql.execution.datasources.parquet.defaultSource),请指定完全限定的类名;

我的申请是:

val sparkSession = SparkSession.builder()
      .appName(APP_NAME)
      .config("spark.sql.warehouse.dir", warehouseLocation)
      .enableHiveSupport()
      .getOrCreate()
sparkSession.sql(query)

spark-submit-2.4.0--master yarn-cluster\--files=“/etc/hive/hive-site.xml”\--driver-class-path=“/etc/hadoop/://usr/lib/spark-packages/spark2.4.0/jars/://usr/lib/spark-packages/spark2.4.0/lib/spark-assembly.jar://usr/lib/hive/lib/”

有什么建议吗?

暂时还没有答案

 类似资料: