将CSV压缩为dbfs中的ZIP文件(数据块文件存储)

Question

我正在尝试将位于azure datalake中的csv压缩为zip。该操作是使用datricks中的python代码完成的，我在其中创建了一个挂载点以将dbfs与datalake直接关联。

这是我的代码:

import os
import zipfile 

csv_path= '/dbfs/mnt/<path>.csv'
zip_path= '/dbfs/mnt/<path>.zip' 

with zipfile.ZipFile(zip_path, 'w') as zip:
    zip.write(csv_path)  # zipping the file

但是我收到了这个错误：

OSError: [Errno 95] Operation not supported

有什么办法吗？

提前感谢。

Answer 1

在重现此内容时，我在下面遇到了相同的错误。

但是我可以将csv文件压缩成zip格式，方法是先转换成dataframe，然后再转换成zip格式，如下所示。

df=spark.read.csv("dbfs:/mnt/ok/csv1.csv")
df.coalesce(1).write.option("compression","gzip").csv("/dbfs/mnt/ok/myzip2.zip")

请不要与上面的csv路径混淆，在这里我错误地使用了ADLS的另一个csv。

但是coalesce将zip中的文件名作为部分名称。要重命名它，请使用dbuits.fs.mv（old_path，new_path）

• 首先使用 ls
  获取 csv 文件路径
  
• 然后使用此路径重命名为如下所示的新路径。
  

old_name = r"/dbfs/mnt/ok/myzip2.zip/part-00000-tid-1285084120372550072-c8b0b7bd-b3b4-4432-8575-4e33e5328ec9-6-1-c000.csv.gz"
new_name=r"/dbfs/mnt/ok/myzip2.zip/mycsv.csv.gz"
dbutils.fs.mv(old_name, new_name)

上面的代码是由亚历克斯·奥特从这个线程引用的。

Answer 2

不，这不可能像你那样做。主要原因是本地DBFS API有局限性——它不支持创建zip文件时所需的随机写入。

解决方法是将zip文件输出到驱动程序节点的本地磁盘，然后使用dbutils.fs.mv将文件移动到DBFS，如下所示：

import os
import zipfile 

csv_path= '/dbfs/mnt/<path>.csv'
zip_path= '/dbfs/mnt/<path>.zip' 
local_path = '/tmp/my_file.zip'

with zipfile.ZipFile(local_path, 'w') as zip:
    zip.write(csv_path)  # zipping the file
dbutils.fs.mv(f"file:{local_path}", zip_path)