AWS Glue-GlueContext：从S3读取分区数据，将分区添加为DynamicFrame的列

Question

我有一些数据存储在拼花格式的S3存储桶中，遵循类似蜂巢的分区风格，使用这些分区键：零售商-年-月-日。

如

my-bucket/
   retailer=a/
         year=2020/
         ....
   retailer=b/
         year=2020/
            month=2/
         ...

我想在sagemaker笔记本中读取所有这些数据，我想将分区作为我的DynamicFrame的列，这样当我df时。printSchema（），包括它们。

如果我使用Glue建议的方法，分区就不会包含在我的模式中。下面是我使用的代码：

df = glueContext.create_dynamic_frame.from_options(
    connection_type='s3',
    connection_options={
        'paths': ['s3://my-bucket/'],
        "partitionKeys": [
            "retailer",
            "year",
            "month",
            "day"
        ]
    },
    format='parquet'
)

相反，通过使用普通的火花代码和DataFrame类，它可以工作，并且分区包含在我的架构中：

df=spark.read.parquet（'s3：//my-桶/'）.

我想知道是否有办法用AWS Glue的特定方法来做到这一点。

Answer 1

也许您可以尝试对数据进行爬网，并使用from\u catalog选项读取数据。虽然我认为你不需要提及分区键，因为它应该看到=意味着它是一个分区。特别是考虑到胶水只是火花的包装