AWS文件上传
我想从hadoop上传一些文件到AWS bucket。我有AWS访问密钥、保密密钥和S3导入路径。
我无法通过AWS CLI命令访问。我在aws凭证文件中设置了密钥。我尝试执行“aws s3 ls ”,但得到的错误是
An error occurred (InvalidToken) when calling the ListBuckets operation: The provided token is malformed or otherwise invalid.
由于上面的代码不起作用，我尝试使用distcp命令，如下所示。
hadoop distcp -Dmapreduce.job.queuename=root.mr.sbg.sla -Dfs.s3a.proxy.host=qypprdproxy02.ie.xxx.net -Dfs.s3a.proxy.port=80 -Dfs.s3a.endpoint=s3.us-west-2.amazonaws.com -Dfs.s3a.aws.credentials.provider="org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider" -Dfs.s3a.access.key="AXXXXXXXXXXQ" -Dfs.s3a.secret.key="4I9nXXXXXXXXXXXXHA" -Dfs.s3a.session.token="FQoDYXdzECkaDNBtHNfS5sKxXqNdMyKeAuqLbVXG72KvcPmUtnpLGbM7UE59zjvNNo0u8mWlslCEvZcZLxXw1agAInzGH8vnGleqxjzuBBgXMXXXXXXXG0zpHA8eyrwCZqUBXSg9cdqevv1sFT8lUIEi5uTGLjHXgkQoBXXXXXXXXXXXXXXt80Rp4vb3P7k5N2AVZmuVvM/SEH/qMLiFabDbVliGXqw7MHXTXXXXXXXXXXXXXXXtW8JvmOFPR3nGdQ4VKzw0deSbNmL/BCivfh9pf7ubm5RFRSLxqcdoT7XAXIWf1jJguEGygcBkFRh2Ztvr8OYcG78hLEJX61ssbKWXokOKTBMnUxx4b0jIG1isXerDaO6RRVJdBrTXn2Somzigo4ZbL0wU=" TXXXX/Data/LiXXXXL/HS/ABC/part-1517397360173-r-00000 s3a://data-import-dev/1012018.csv
对于上面的命令，我也得到下面的错误。
18/11/09 00:55:40信息http.AmazonHttpClient：配置代理。代理主机：qypprdproxy02.ie.XXXX.net代理端口： 80 18/11/09 00:55:40 WARN s3A. S3AFileSystem： Client： Amazon S3错误400:400错误请求；错误请求（可重试）
请让我知道如何实现这一目标。
共有1个答案
我遇到了同样的问题。当~中有文件时，可能会出现此问题。aws是手动修改的，而不是通过“aws-configure”命令修改的。
您是否尝试过：
- 删除配置和凭据文件（位于~. aws）
- 运行“aws confiure”命令（重新创建您在#1中删除的文件）
这为我解决了问题。
这主要是因为我使用其他工具也修改这些文件。
我希望它有帮助。
-
我正在使用lambda nodejs将文件上传到ftp服务器。 上传文件的源代码: index.js文件： 运行后的日志: 回应: 零 请求ID： “9c8e1701-ad54-42eb-8dc6-bbed77bc9b41” 函数日志： 开始请求id:9c8e 1701-ad54-42e b-8dc 6-bbed 77 BC 9 b 41版本:$最新 结束请求ID：9c8e1701-ad54-42
-
我是Dropwizard的新手。我想在我的项目中实现AWS S3文件上传服务。 我没有收到任何通过拖放在AWS S3上上传文件的教程。 我在pom.xml中添加了以下依赖项 我已经注册了多部分功能。将应用程序类的run（）方法中的- 然后在资源类中定义方法为- 但在运行时，它显示以下日志：- 如何获取上传文件的url？如何通过编码检查文件上传？我遗漏了什么吗？有人知道这件事吗。如果dropwiza
-
当我调用API时，我得到了一个AWS S3存储桶URL在s3 URL上，我试图通过改造上传文件，但我得到了以下错误 我正在通过PUT方法进行多部分上传。在postman上，它可以工作，但不能从Android 相关改造
-
我正在尝试将json对象上传到AWS Cloudsearch。以下是我创建索引字段的全部代码： 当从rails控制台运行create_index_字段时，它显示字段已创建，但当我去上传文档时，它表示找不到具有我定义的不同字段名的字段。 定义散列以转换为json对象： 和文档上传rake任务： 最后是我的错误： 我是不是忘了初始化什么东西或者发生了什么？任何帮助都将不胜感激。希望我已经给了你足够多的
-
我使用这个模块上传文件到亚马逊 https://www.npmjs.com/package/streaming-s3，如果文件小于或等于 5 MB，则工作正常。 我试着上传6 MB大小的PDF文件。它显示上传成功，但当我试图通过aws打开该文件。 它显示无法加载PDF文档 当我在Aws上检查大小时，显示为5MB。 我正在使用以下代码在 AWS 上上传 这对于小于5 MB的文件工作正常。 有什么想法
-
问题内容： 我正在尝试使用Java-AWS API在AWS S3上上传文件。问题是我的应用程序无法上传大型文件，因为堆已达到极限。错误：java.lang.OutOfMemoryError：Java堆空间 我个人认为扩展堆内存不是永久性的解决方案，因为我必须上传最大100 GB的文件。我该怎么办 ？ 这是代码片段： 问题答案： 我强烈建议on ，因为： ..如果未提供，则库将必须 缓冲 输入流的内