AWS带隔板的胶合拼花地板

Question

我能够以拼花格式写入，并通过如下列进行分区：

jobname = args['JOB_NAME']
#header is a spark DataFrame
header.repartition(1).write.parquet('s3://bucket/aws-glue/{}/header/'.format(jobname), 'append', partitionBy='date')

但我无法用Glue的DynamicFrame做到这一点。

header_tmp = DynamicFrame.fromDF(header, glueContext, "header")
glueContext.write_dynamic_frame.from_options(frame = header_tmp, connection_type = "s3", connection_options = {"path": 's3://bucket/output/header/'}, format = "parquet")

我试图通过分区By作为connection_options的一部分，因为AWS文档说拼花胶不支持任何格式选项，但这不起作用。

这有可能吗？怎么可能？至于这样做的原因，我认为工作书签是必要的，因为这对我目前不起作用。

Answer 1

我使用我的数据框架中的一些列作为分区键对象：

glueContext.write_dynamic_frame \
    .from_options(
        frame = some_dynamic_dataframe, 
        connection_type = "s3", 
        connection_options =  {"path":"some_path", "partitionKeys": ["month", "day"]},
        format = "parquet")

Answer 2

来自AWS支持（稍作解释）：

到目前为止，Glue在写入parquet时不支持partitionBy参数。不过，这项工作正在进行中。

使用Glue API写入parquet是作业书签功能使用S3源所必需的。

因此，到目前为止，无法对拼花地板文件进行分区并启用作业书签功能。

编辑：今天（2018年3月23日），我在文档中发现：

glue_context.write_dynamic_frame.from_options(
frame = projectedEvents,
connection_options = {"path": "$outpath", "partitionKeys": ["type"]},
format = "parquet")

这个选项可能一直存在，我和AWS支持人员都错过了它，或者它是最近才添加的。不管怎样，现在似乎是可能的。