使用高级多部分上传仍然没有给出内容长度指定警告

Question

即使我使用的是高级多部分，我仍然在控制台中收到警告：

WARN - com.amazonaws.services.s3.AmazonS3Client - No content length specified for stream data.  Stream contents will be buffered in memory and could result in out of memory errors.

这就是我使用高级分段上传的方式，就像这里一样：https://docs.aws.amazon.com/AmazonS3/latest/userguide/mpu-upload-object.html

      val tm: TransferManager = TransferManagerBuilder
        .standard()
        .withS3Client(s3Client)
        .withMultipartUploadThreshold(5248000)
        .build();

      val metadata = new ObjectMetadata()
      metadata.setContentType(mimeType)
      val request = new PutObjectRequest(bucketName, key, inputStream, metadata)

      val upload = tm.upload(request)
      upload.waitForCompletion()

5248000是5MB，我尝试上传比这大得多的文件，所以它应该使用多部分策略，正如它在with MultipartUploadThreshold文档中所说：

设置何时使用分段上传的大小阈值（以字节为单位）。超过此大小的上传将自动使用分段上传策略，而小于此阈值的上传将使用单个连接来上传整个对象。

为什么它仍然发出这个警告？

Answer 1

AWS SDK for Java的文档在ObjectMetadata中提到了这一点:

将对象上传到S3时，此字段是必需的，但是当直接处理文件时，Amazon Web Services S3 Java客户端会自动设置它。当直接从流上传时，如果可能，设置该字段。否则，客户端必须缓冲整个流，以便在将数据发送到亚马逊S3之前计算内容长度。

换句话说，您需要显式调用元数据。在构造PutObjectRequest对象之前，使用文件或流大小设置ContentLength（x）。如果不这样做，AWS SDK将需要在ram中缓冲整个流，这可能会耗尽较大对象的内存，从而触发您看到的警告。