是否可以使用s3 java sdk通过流写入s3

Question

通常，当一个文件必须上传到s3时，它必须首先写入磁盘，然后使用像TransferManager api这样的应用程序上传到云端。如果上传不能按时完成，这会导致数据丢失（应用程序宕机并在不同的服务器上重新启动，等等）。所以我想知道是否有可能直接通过网络写入一个流，并将所需的云位置作为接收器。

Answer 1

有可能：

AmazonS3 s3Client = AmazonS3ClientBuilder.standard()
    .build();
s3Client.putObject("bucket", "key", youtINputStream, s3MetData)

亚马逊3。putObject

Answer 2

令人惊讶的是，这是不可能的（在写这篇文章的时候）标准JavaSDK。无论如何，由于这个第三方库，你至少可以避免缓冲大量的数据到内存或磁盘，因为它在内部缓冲约5MB的部分，并在多部分上传中自动上传。

SDK存储库中还有一个github问题，您可以通过它来获取更新。

Answer 3

你不会说你在用什么语言，但我会根据你的大写字母假设Java。在这种情况下，答案是肯定的：TransferManager有一个upload（）方法，它接受一个PutObjectRequest，您可以围绕一个流构造该对象。

但是，有两个重要的注意事项。第一个是在PutObjectRequest的留档中：

当直接从输入流上传时，必须指定内容长度才能将数据上传到Amazon S3

所以在开始之前，你必须知道你上传了多少数据。如果你从网上收到一个上传文件，并且有一个内容长度标题，那么你可以从中获取大小。如果只是读取任意长度的数据流，那么必须先将其写入文件（否则SDK会）。

第二个警告是，这并不能防止数据丢失：您的程序仍然可以在读取数据的中间崩溃。它将阻止的一件事是在将数据存储到S3之前将成功代码返回给用户，但您可以通过文件来实现这一点。