AWS Glue无法读取JSON Snappy文件

Question

我在PySpark中使用AWS胶水作业读取数据时遇到问题：

数据从AWS firehose（示例数据）发送到s3 bucket，存储为JSON并使用snappy hadoop进行压缩。

我可以使用spark.read.json（）从遗留的Spark数据框中读取数据，但这不适用于使用from_catalog或from_options方法的Glue动态框架（模式根本没有解析）：

Spark遗留数据帧

# import from legacy spark read
spark_df = spark.read.json("s3://my-bucket/sample-json-hadoop-snappy/")
spark_df.printSchema()

- result:
root
 |-- change: double (nullable = true)
 |-- price: double (nullable = true)
 |-- sector: string (nullable = true)
 |-- ticker_symbol: string (nullable = true)
 |-- year: integer (nullable = true)
 |-- dt: date (nullable = true)

胶水动态框架

# import from glue options
options_df = glueContext.create_dynamic_frame.from_options(
  connection_type="s3",
  connection_options = {"paths": ["s3://my-bucket/sample-json-hadoop-snappy/"]},
  format="json"
)
options_df.printSchema()


- result:
root

Answer 1

您也可以在粘合作业中使用spark legacy，如果您只想在粘合库上执行操作，那么可以使用spark读取，然后将df转换为动态帧。

df = spark.read.json("s3://my-bucket/sample-json-hadoop-snappy/")
from awsglue.dynamicframe import DynamicFrame
DynF = DynamicFrame.fromDF(df, glueContext, "df")

目前，仅在Glue库中支持拼花文件的快速压缩。