如何使用“s3a://”方案使配置单元2.2.1成功地与AWS S3集成

Question

我已经阅读了关于使用s3a:/方案将Apache Hive 2.1.1与AWS S3集成的各种公开文档，为hadoop/etc/hadoop/core-site.xml和Hive/conf/hive-site.xml配置fs.s3a.access.key和fs.s3a.secret.key。

我现在可以让hdfs dfs-ls s3a://[bucket-name]/正常工作（它返回该bucket的s3 ls）。因此我知道我的cred、bucket访问和整个Hadoop设置是有效的。

hdfs dfs -ls s3a://[bucket-name]/

drwxrwxrwx   - hdfs hdfs          0 2017-06-27 22:43 s3a://[bucket-name]/files
...etc. 

hdfs dfs -ls s3a://[bucket-name]/files

drwxrwxrwx   - hdfs hdfs          0 2017-06-27 22:43 s3a://[bucket-name]/files/my-csv.csv

但是，当我试图从配置单元访问相同的s3资源时，例如使用位置's3a://[bucket-name]/files/'运行任何创建模式或创建外部表语句，它将失败。

例如：

如果不存在mydb.my_table(my_table_id string,my_tstamp timestamp,my_sig bigint)行格式分隔字段,以“,”位置“s3a://[bucket-name]/files/'终止,则创建外部表；

失败：执行错误，从org.apache.hadoop.hive.ql.exec.ddltask返回代码1。MetaException（消息：获取异常:java.nio.file.accessdeniedexception S3a://[bucket-name]/files:getFileStatus on S3a://[bucket-name]/files:com.amazonaws.services.S3.model.amazons3异常：禁止（服务：Amazon S3；状态码：403；错误码：403禁止；请求ID:C9CF3F9C50EF08D1),S3扩展请求ID:T2XZ87REKVHKVZF+HDPToH7CA7ParpIP6IRMWNDQNFFDWERKZUAIGBPVXILV6USD0RSXM9YMM6I=)

这毫无意义。我可以访问bucket，就像在hdfs测试中看到的那样。并且我已经向hive-site.xml添加了适当的creds。

注意：使用相同的cred，我可以为's3n://'和's3a://'工作。它只是对“s3a://”失败。

有人知道这个方程式缺了什么吗？

Answer 1

您是否将EMR用于配置单元环境？如果是，则EMR不支持S3A。