如何使用EMR上的HiveQL将DynamoDB上的Map数据类型列导出到具有JSON数据类型的S3？

Question

在DynamoDB上有映射数据类型的记录，我想在EMR上使用HiveQL以JSON数据格式将这些记录导出到S3。这个怎么做？有可能吗？

我读了下面的文件，但我想要的信息是什么。

• DynamoDB数据格式文档：https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/DataFormat.html
• 用于导出的配置单元命令示例。。。文档：https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/EMR_Hive_Commands.html

我尝试了以下步骤：

>

在DynamoDB上创建一个表

TableName: DynamoDBTable1
HashKey: user_id

在DynamoDB中插入两条记录

# record1
user_id: "0001"
json: {"key1": "value1", "key2": "value2"}

# record2
user_id: "0001"
json: {"key1": "value1", "key2": "value2"}

从DynamoDB在EMR上创建一个表

CREATE EXTERNAL TABLE test (user_id string, json map<string, string>)
STORED BY 'org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler' 
TBLPROPERTIES ("dynamodb.table.name" = "DynamoDBTable", 
"dynamodb.column.mapping" = "user_id:user_id,json:json"); 

将记录导出到S3

INSERT OVERWRITE DIRECTORY 's3://some-bucket/exports/' select json from test where user_id = '0001';

确认S3桶，但导出的数据不是JSON格式...

# Expected
[
  {"key1": "value1", "key2": "value2"},
  {"key1": "value1", "key2": "value2"}
]

# Actual
key1^C{"s":"value1"}^Bkey2^C{"s":"value2"}
key1^C{"s":"value1"}^Bkey2^C{"s":"value2"}

Answer 1

DynamoDBStorageHandler类不支持以下DynamoDB数据类型，因此它们不能与dynamodb.column.mapping一起使用：

映射，列表，布尔值，空