使用TransferManager将大文件上载到AmazonS3存储桶的最佳方法

Question

目前，我正在尝试将一个文件上载到AmazonS3存储桶，我对此进行了一些研究，发现如果文件足够大，类TransferManager会将文件拆分为小块，然后使用多个线程并行上载。现在在应用程序中，我们正在创建一个AmazonS3客户端实例（在应用程序开始时创建的一个bean），并使用该AmazonS3客户端为用户上传文件所需的每个文件创建TransferManager类实例，文件上传完成后（由TransferManager的waitForCompletion方法检查），我们将调用TransferManager方法。shutdownNow（false）关闭它创建的所有线程，如下所示：

@AutoWired
private AmazonS3 s3Client;


   /**
 * Uploads a file using TransferManager from a MultipartFile.
 */
public String uploadFileParallelized(MultipartFile file) {
  String fileName;
  TransferManager transferManager =
      TransferManagerBuilder.standard().withS3Client(this.s3Client).build();

  try {
    String extension = getExtensionFromBytes(file.getBytes());
    fileName = getFileName(extension);

    ObjectMetadata metadata = new ObjectMetadata();
    metadata.setContentLength(file.getSize());
    metadata.setContentType(file.getContentType());

    Upload upload = transferManager.upload(getBucketName(), this.folder + fileName,
        file.getInputStream(), metadata);
    upload.waitForCompletion();
  } catch (IOException | AmazonClientException | InterruptedException e) {
    throw new FileUploadException("Couldn't upload the file to S3: " + e.getLocalizedMessage(),
        e);
  } finally {
    transferManager.shutdownNow(false);
  }


  return fileName;
}

我仍然有疑问：

>

我不确定您是否应该为每个上传实例化一个transferManager，或者我们应该只使用TransferManager的一个实例（可能是bean），但在这种情况下，我将无法调用transferManager.shutdownNow（false）方法原因我将无法使用它进行第二次上传。

即使我没有调用shutdownNow方法，TransferManager是否会关闭用于上载文件的所有线程？

是否可以使用同一个Amazon S3客户端来创建TransferManager的多个实例，或者我们应该为我们需要的每个TransferManager创建一个S3Client？

即使文件很小（比如小于5MB），我们是否也应该使用TransferManager

Answer 1

https://docs.aws.amazon.com/AWSJavaSDK/latest/javadoc/com/amazonaws/services/s3/transfer/TransferManager.html

>

TransferManager负责管理连接和线程等资源；尽可能共享TransferManager的单个实例。TransferManager与AWS SDK for Java中的所有客户端类一样，是线程安全的。打电话给经理。shutdownNow（）以在传输完成后释放资源。

对

默认情况下，当传输管理器实例被垃圾收集时，线程池将关闭。

您应该使用相同的S3客户机。它是线程安全的。

minUploadPartSize为5MB，而minUploadThresholdSize为16MB。您可以使用TransferManager对所有文件进行上传，它将根据文件大小对文件进行分解。这些选项是可配置的。如果您知道所有文件都相对较小，那么使用putObject可能会更容易。