在aws存储桶中列出对象

Question

我试图打印桶中的所有对象，但我得到一个错误。

线程“main”com中出现异常。amazonaws。服务。s3.型号。AmazonS3异常：状态代码：301，AWS服务：Amazon S3，AWS请求ID：758A7CBF1A29FD74，AWS错误代码：PermanentRedirect，AWS错误消息：您尝试访问的存储桶必须使用指定的endpoint寻址。请将所有未来的请求发送到此终结点。，S3

目前我只有以下代码：

public class S3Download {

    /**
     * @param args
     */
    public static void main(String[] args) {
        AmazonS3 s3 = new AmazonS3Client(new ClasspathPropertiesFileCredentialsProvider());
        Region usWest2 = Region.getRegion(Regions.US_WEST_2);
        s3.setRegion(usWest2);
        String bucketName = "apireleasecandidate1";

        ListObjectsRequest listObjectRequest = new ListObjectsRequest().withBucketName(bucketName);
        ObjectListing objectListing;

        do{
            objectListing = s3.listObjects(listObjectRequest);
            for(S3ObjectSummary objectSummary : objectListing.getObjectSummaries()){
                System.out.println(" - " + objectSummary.getKey() + " " + "(size = " +
            objectSummary.getSize() + ")");
            }
            listObjectRequest.setMarker(objectListing.getNextMarker());
        }while(objectListing.isTruncated());
    }

}

我在亚马逊的网站上找到了这个解决方案。

有人知道我错过了什么吗？

Answer 1

似乎您的桶“apireleasecandidate1”不在us-west-1区域。我认为这是在美国的经典地区。您应该修改代码以删除setRegion（）调用。

Answer 2

对于Scala开发人员来说，这是一个递归函数，可以使用官方的AWS Java SDK对AmazonS3存储桶的内容执行完整扫描和映射

import com.amazonaws.services.s3.AmazonS3Client
import com.amazonaws.services.s3.model.{S3ObjectSummary, ObjectListing, GetObjectRequest}
import scala.collection.JavaConversions.{collectionAsScalaIterable => asScala}

def map[T](s3: AmazonS3Client, bucket: String, prefix: String)(f: (S3ObjectSummary) => T) = {

  def scan(acc:List[T], listing:ObjectListing): List[T] = {
    val summaries = asScala[S3ObjectSummary](listing.getObjectSummaries())
    val mapped = (for (summary <- summaries) yield f(summary)).toList

    if (!listing.isTruncated) mapped.toList
    else scan(acc ::: mapped, s3.listNextBatchOfObjects(listing))
  }

  scan(List(), s3.listObjects(bucket, prefix))
}

要调用上面咖喱map（）函数，只需在第一个参数列表中传递已经构造（并正确初始化）的Amazon S3Client对象（参考官方的AWS SDK获取JavaAPI参考）、桶名和前缀名。还要传递要应用的函数f（）来映射第二个参数列表中的每个对象摘要。

比如说

map(s3, bucket, prefix)(s => println(s))

将打印所有文件

val tuple = map(s3, bucket, prefix)(s => (s.getKey, s.getOwner, s.getSize))

将返回该存储桶/前缀中的完整元组列表（键、所有者、大小）

val totalSize = map(s3, "bucket", "prefix")(s => s.getSize).sum

将返回其内容的总大小（注意表达式末尾应用的附加sum（）折叠函数；-）

您可以将map（）与许多其他函数相结合，就像在函数编程中通常通过单子实现的那样