如何使用AWS胶水将存储在S3中的无头压缩管道分隔文件转换为拼花地板

Question

目前，我在S3中有数千个无头、管道分隔的GZIP压缩文件，总计约10TB，具有相同的模式。在AWS Glue中，（1）添加头文件，（2）使用文件中的“日期”字段转换为按周划分的拼花格式，（3）将文件添加到Glue数据目录中，以便在AWS Athena中进行查询？

Answer 1

1） 创建一个athena表，将数据指向S3：

在athena上创建外部表

2） 使用在上述步骤中创建的表，从粘合目录创建动态框架。

from awsglue.context import GlueContext
glueContext = GlueContext(SparkContext.getOrCreate())
DyF = glueContext.create_dynamic_frame.from_catalog(database="{{database}}", table_name="{{table_name}}")

3） 以您喜欢的任何格式将数据写回新的S3位置：

glueContext.write_dynamic_frame.from_options(
   frame = DyF,
   connection_type = "s3",
   connection_options = {"path": "path to new s3 location"},
   format = "parquet")

4）创建一个雅典娜表，将您的拼花地板数据指向S3：

在athena上创建外部表

注意：您也可以使用glue crawler为您创建一个athena表，而不是手动创建athena表。然而，这将招致一些费用。