Pyspark：从 blob 存储加载 zip 文件

Question

我正在使用 Pyspark 尝试从 blob 存储中读取 zip 文件。我想在加载后解压缩文件，然后将解压缩的 CSV 写回 Blob 存储。

我正在遵循以下指南，该指南解释了一旦读取如何解压缩文件：https://docs.databricks.com/_static/notebooks/zip-files-python.html

但是它不能解释我是如何从blob中读取zip文件的。我有以下代码

file_location = "path_to_my.zip"
df = sqlContext.read.format("file_location").load

我预计这将以df的形式将zip加载到数据库，然后我可以按照文章中的建议解压缩，将csvs加载到数据帧，然后将数据帧写回blob。

关于如何使用pyspark从blo中最初读取zip文件的任何想法？

谢谢

Answer 1

如 DataBricks 笔记本的第一个单元格所示，您需要下载 zip 文件并以某种方式解压缩它。你的情况有所不同，因为你使用的是 Azure Blob 存储，并且想要在 Python 中执行所有操作（没有其他外壳应用程序）。

此页面记录了访问Azure Blob存储中的文件的过程。您需要遵循以下步骤：

1. 安装包azure-storage-blob。
2. 导入SDK模块并设置必要的凭据（参考）。
3. 使用连接字符串创建BlobServiceClient的实例：

# Create the BlobServiceClient object which will be used to create a container client
blob_service_client = BlobServiceClient.from_connection_string(connect_str)

blob_client = blob_service_client.get_blob_client(container="container", blob="path_to_my.zip")

from pathlib import Path
import gzip

Path("./my/local/filepath.csv").write_bytes(
    gzip.decompress(blob_client.download_blob().readall())
)