AWS Glue作业将表转换为镶木地板，不需要另一个爬虫

Question

有没有可能让粘合作业将JSON表重新分类为拼花，而不需要另一个爬虫来抓取拼花文件？

当前设置：

1. 分区S3 bucket中的JSON文件每天爬网一次

我必须相信有一种方法可以在没有另一个爬虫的情况下转换表分类（但我以前被AWS烧伤过）。非常感谢任何帮助！

Answer 1

为了方便起见，2个爬虫是最好的选择。

出于成本考虑，黑客解决方案应该是：

>

使用SHOW CREATE TABLE从Athena获取json表的CREATE TABLEDDL

在创建表DDL中，将表名和SerDer从json替换为parquet。除了位置之外，您不需要原始的创建表DDL中的其他表属性。

在Athena中执行新的CREATE TABLEDDL。

例如：

SHOW CREATE TABLE json_table;

原始DDL：

CREATE EXTERNAL TABLE `json_table`(
  `id` int COMMENT, 
  `name` string COMMENT)
ROW FORMAT SERDE 
  'org.openx.data.jsonserde.JsonSerDe' 
...
LOCATION
  's3://bucket_name/table_data'
...

新DDL：

CREATE EXTERNAL TABLE `parquet_table`(
  `id` int COMMENT, 
  `name` string COMMENT)
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' 
LOCATION
  's3://bucket_name/table_data'

您也可以使用Glue api方法以相同的方式执行此操作：get\u table（）

注意-如果您想定期运行它，您需要在第一个爬虫程序运行后，将其包装在脚本中，并使用另一个调度器（crontab等）对其进行调度。