在 Azure 数据湖 Gen1 中解压缩文件而不将文件移动到 Azure 数据砖文件系统的简单且最佳的方法是什么？

Question

解压Azure数据湖Gen1中的文件而不将文件移动到Azure Database ricks文件系统的最佳方法是什么？目前，我们使用Azure数据库进行计算，storage.We有将数据移动到DBFS的限制。

已在 DBFS 中挂载 ADLS，但不确定如何继续

Answer 1

不幸的是，在Databricks中不支持zip文件，原因是Hadoop不支持将zip文件作为压缩编解码器。虽然GZip、BZip2和其他支持的压缩格式的文本文件可以配置为在Spark中自动解压缩，只要它具有正确的文件扩展名，您必须执行其他步骤来读取zip文件。Databricks文档中的示例在操作系统级别（Ubuntu）上使用unzip在驱动程序节点上进行解压缩。

如果您的数据源不能以Spark支持的压缩编解码器提供数据，最好的方法是使用Azure数据工厂复制活动。Azure Data Factory支持更多压缩编解码器，也支持zip。

源的类型属性定义如下：

"typeProperties": {
        "compression": {
            "type": "ZipDeflate",
            "level": "Optimal"
        },

您还可以使用Azure数据工厂将您的Database ricks管道与Database ricks活动进行协调。