使用Java获取Azure Data Lake Gen2中的文件夹大小

Question

互联网上有一些关于C#计算文件夹大小的文献。但是找不到Java。

1. 有简单的方法知道文件夹大小吗？在Gen2
2. 如果没有，如何计算？

在互联网上，有几个例子是关于C#和powershell的（2）。用Java有什么办法吗？

Answer 1

据我所知，Azure Data Lake Gen2中没有直接提供文件夹大小的API。

递归地做：

DataLakeServiceClient dataLakeServiceClient = new DataLakeServiceClientBuilder()
        .credential(new StorageSharedKeyCredential(storageAccountName, secret))
        .endpoint(endpoint)
        .buildClient();
DataLakeFileSystemClient container = dataLakeServiceClient.getFileSystemClient(containerName);


/**
 * Returns the size in bytes
 *
 * @param folder
 * @return
 */
@Beta
public Long getSize(String folder) {
    DataLakeDirectoryClient directoryClient = container.getDirectoryClient(folder);
    if (directoryClient.exists()) {
        AtomicInteger count = new AtomicInteger();
        return directoryClient.listPaths(true, false, null, null)
                .stream()
                .filter(x -> !x.isDirectory())
                .mapToLong(PathItem::getContentLength)
                .sum();
    }
    throw new RuntimeException("Not a valid folder: " + folder);
}

这递归地遍历文件夹并获得大小。

每页默认记录为5000条。从文档：

recursive–指定调用是否应递归地包括所有路径。

用户原则名称返回-如果"true"，则在x-ms-所有者、x-ms-组和x-ms-acl响应标头中返回的用户标识值将从Azure Active Directory对象ID转换为用户主体名称。如果"false"，这些值将作为Azure Active Directory对象ID返回。默认值为false。请注意，组和应用程序对象ID没有翻译，因为它们没有唯一的友好名称。

maxResults–指定每页返回的最大Blob数，包括所有BlobPrefix元素。如果请求未指定maxResults或指定的值大于5000，则服务器每页最多将返回5000个项目。如果按页迭代，则传递给PagedItemerable等byPage方法的页大小。iterableByPage（int）将优先于此值。

超时-一个可选的超时值，超过该值将引发运行异常。