附加到拼花文件的EMR Spark步骤正在覆盖拼花文件

Question

使用Python 3.6在Amazon EMR集群（1个主节点，2个节点）上运行Spark 2.4.2

我正在Amazon s3中读取对象，将其压缩为拼花格式，并将其添加（附加）到现有的拼花数据存储中。当我在pyspark shell中运行代码时，我能够读取/压缩对象，并将新的拼花文件添加到现有的拼花文件中，当我对拼花数据运行查询时，它显示所有数据都在拼花文件夹中。但是，当我在EMR集群上的步骤中运行代码时，现有的拼花文件将被新文件覆盖。相同的查询将显示只有新数据存在，而包含拼花数据的s3文件夹只有新数据。

以下是该步骤的关键代码：

    spark = SparkSession.builder \
                        .appName("myApp") \
                        .getOrCreate()

    df_p = spark.read \
                .format('parquet') \
                .load(parquet_folder)

    the_schema = df_p.schema

    df2 = spark.read \
               .format('com.databricks.spark.xml') \
               .options(rowTag='ApplicationSubmission', \
                        path=input_folder) \
               .schema(the_schema) \
               .load(input_folder+'/*.xml')

    df2.coalesce(10) \
       .write \
       .option('compression', 'snappy') \
       .option('path', parquet_folder) \
       .format('parquet') \
       .mode('append') \
       .saveAsTable(table_name, mode='append')

我预计这会将来自input\u文件夹的数据附加到parquet\u文件夹中的现有数据，但在EMR步骤中执行时会被覆盖。我尝试过在中不使用mode='append'。saveAsTable（在pyspark shell中不需要）。

建议？




Answer 1

匿名用户

我不知道为什么你的方法不起作用，但我使用<代码>得到了更好的结果。拼花地板（路径）而不是。保存表（…） 。我不知道这种行为的原因，但我以前没有见过用于保存数据对象的saveAsTable，因为它在配置单元元存储中创建了一个表（不是“物理”数据对象）。

如果您的步骤在Apache Livy中运行，那么它们的行为可能与在shell上的行为不同。如果您确实在使用Livy，您可以在齐柏林飞艇笔记本上测试您的代码，在您的代码单元格上指示您应该使用Livy-pyspark执行器运行代码。