AWS Glue ETL作业失败，AnalysisException:u'Unable to推断拼花地板的模式。必须手动指定。；'

Question

我正在尝试创建AWS Glue ETL作业，将存储在S3中的拼花文件中的数据加载到Redshift表中。拼花文件是使用带有“简单”文件模式选项的熊猫写入S3中的多个文件夹的。布局如下所示：

s3://bucket/parquet\u table/01/file\u 1。拼花地板

s3://bucket/parquet\u table/01/file\u 2。拼花地板

S3：//桶/parquet_table/01/file_3.parquet

s3://bucket/parquet\u table/01/file\u 1。拼花地板

S3：//桶/parquet_table/02/file_2.parquet

s3://bucket/parquet\u table/02/file\u 3。拼花地板

我可以使用AWS Glue Crawler在AWS Glue目录中创建一个表，并且可以从Athena查询该表，但当我尝试创建将同一个表复制到Redshift的ETL作业时，它不起作用。

如果我对单个文件进行爬网，或者对一个文件夹中的多个文件进行爬网，那么只要涉及多个文件夹，就会出现上述错误

AnalysisException:u'无法推断拼花地板的模式。必须手动指定。；'

如果使用“hive”而不是“simple”模式，则会出现类似问题。然后，我们有多个文件夹和空拼花文件

<代码>java。io。IOException：无法读取页脚：java。lang.RuntimeException：xxx不是拼花地板文件（太小）

在使用AWS Glue（ETL和数据目录）时，是否有关于如何读取拼花文件并在S3中构造它们的建议？

Answer 1

您面临的错误是，当从spark/glue读取s3中的拼花文件时，它希望数据位于配置单元分区中，即分区名称应该具有键值对，您将在配置单元样式分区中具有s3层次结构，如下所示

S3：//你的桶/parquet_table/id=1/file1.parquet

s3://your bucket/parquet\u table/id=2/file2。拼花地板

等等...

然后使用下面的路径读取bucket中的所有文件

位置：s3://your bucket/parquet\u table

如果s3中的数据按上述方式分区，您将不会面临任何问题。

Answer 2

Redshift不支持拼花格式。红移光谱确实如此。雅典娜还支持拼花地板格式。