minio - Minio 合成视频分块后 MD5 值变化问题？

Question

在minio 合成视频分块后，发现文件的md5值发生了变化，找不到原因，但是合成的视频大小和时长都和本地的一致。minio的版本号是8.4.3

下面是合成的代码

    //将分块文件上传至minio    @Test    public void uploadChunkTest() throws Exception {        String path = "F:\\work\\chunk\\";                        File chunk = new File("F:\\work\\chunk\\");        File[] files = chunk.listFiles();        for (int i = 0; i < files.length; i++) {            UploadObjectArgs uploadObjectArgs = UploadObjectArgs.builder().bucket("testbucket").filename("F:\\work\\chunk\\" + i).object("chunk/" + i).build();            minioClient.uploadObject(uploadObjectArgs);            System.out.println("上传分块: "+i+" 成功");        }    }    @Test    public void minioMergeTest() throws Exception {        File chunkFolder = new File("F:\\work\\chunk\\");        File[] files = chunkFolder.listFiles();        List<ComposeSource> composeSourceList = Stream.iterate(0, i -> ++i).limit(files.length)                .map(i -> ComposeSource.builder().bucket("testbucket")                        .object("chunk/" + i).build()).collect(Collectors.toList());        ComposeObjectArgs composeObjectArgs = ComposeObjectArgs.builder().bucket("testbucket").object("testMinio.mp4").sources(composeSourceList).build();        minioClient.composeObject(composeObjectArgs);    }

上传前视频的md5值，本地合成分块也是d41d8cd98f00b204e9800998ecf8427e
上传后分块合并后变为e224d958e5116b328924653de00cb3a7

查询过上传后分块的数量和分块的大小，都与本地的一致

Answer 1

Minio 在处理文件上传和合成时，可能会因为一些内部机制导致文件的 MD5 值发生变化。尽管你上传的文件大小和时长与本地一致，但 MD5 值的变化可能是由于以下几个原因：

1. 数据校验：Minio 在上传和下载文件时，会进行数据的校验。如果数据在校验过程中有任何微小的改变（例如，由于网络传输错误或存储过程中的微小差异），MD5 值就会发生变化。
2. 分块上传和合成：你在上传和合成文件时，文件被分成了多个块。每个块在上传和合成时可能经历了不同的处理过程，这可能导致合成后的文件与原始文件的 MD5 值不同。
3. 文件元数据：除了文件内容本身，文件的元数据（如时间戳、访问权限等）也可能影响 MD5 值。尽管这些元数据通常不会改变文件的内容，但它们可能会影响文件的 MD5 哈希值。

由于你提到 Minio 的版本号是 8.4.3，我建议你查看 Minio 的官方文档和更新日志，看看是否有关于这个问题的说明或修复。同时，你也可以尝试升级 Minio 到最新版本，看看问题是否得到解决。

最后，如果你关心文件的完整性，你可以考虑使用其他方法来验证文件的完整性，而不仅仅是依赖 MD5 值。例如，你可以比较上传前后的文件大小、时长和其他关键特征，以确保文件的一致性。