如何使用java sdk在Azure Blob存储中上传单个视频文件的多个块？

Question

我想将一个巨大的文件从s3（4.5GB大小）作为单个文件传输到Azure blob存储。由于它是一个巨大的文件，我们正试图将该s3文件分解为块大小为5MB的多个块。每个区块都被上传到azure blob存储中，最后我希望将所有区块重新组装到azure中的单个blob文件中（或者）我上传到azure blob存储的每个区块都应该将其附加到现有的blob文件中。

如果我们有什么解决办法，请尽快帮我？

Answer 1

Azure存储支持通过块Blob进行分块上传。您可以“暂存”数据块，然后在完成所有数据块的上载后，可以将暂存的数据块“提交”到单个blob。

新的azure storage blob Java SDK提供了BlockBlobClient（和BlockBlobBasyncClient），其中包含用于暂存和提交块的API。

使用SpecializedBlobClientBuilder创建BlockBlobClient的实例。

以下是一个示例：

BlockBlobClient blockBlobClient = new SpecializedBlobClientBuilder()
        .connectionString("<your-connection-string>")
        .containerName("<your-container-name>")
        .blobName("<your-blob-name>")
        .buildBlockBlobClient();

String chunkId1 = Base64.getEncoder().encodeToString("1".getBytes());
String chunkId2 = Base64.getEncoder().encodeToString("2".getBytes());
String chunkId3 = Base64.getEncoder().encodeToString("3".getBytes());

byte[] chunk1Bytes = " chunk 1.".getBytes();
byte[] chunk2Bytes = " chunk 2.".getBytes();
byte[] chunk3Bytes = " chunk 3.".getBytes();

ByteArrayInputStream chunk1 = new ByteArrayInputStream(chunk1Bytes);
ByteArrayInputStream chunk2 = new ByteArrayInputStream(chunk2Bytes);
ByteArrayInputStream chunk3 = new ByteArrayInputStream(chunk3Bytes);

// Stage 3 blocks
blockBlobClient.stageBlock(chunkId1, chunk1, chunk1Bytes.length);
blockBlobClient.stageBlock(chunkId2, chunk2, chunk2Bytes.length);
blockBlobClient.stageBlock(chunkId3, chunk3, chunk3Bytes.length);

// Commit all 3 blocks - order of chunkIds matter
BlockBlobItem blockBlobItem = blockBlobClient.commitBlockList(Arrays.asList(chunkId1, chunkId2, chunkId3));


ByteArrayOutputStream outputStream = new ByteArrayOutputStream();
blockBlobClient.download(outputStream);

System.out.println(new String(outputStream.toByteArray())); // prints chunk 1. chunk 2. chunk3