以存储帐户为数据层的Azure Databricks

Question

我刚刚开始进行数据分析，需要使用Azure Databricks分析大量数据。在计划使用Databricks notebook进行分析时，我遇到了不同的存储选项来加载数据a）DBFS-default文件系统从Databricks b）Azure data Lake(ADLS)和c）Azure Blob storage。

在以上理解的基础上，我可以澄清以下问题吗？

1. 在数据库上下文中使用这些存储选项时，它们之间有什么区别？DBFS和ADLS是否在暗地里包含了HDFS的文件管理原则，比如将文件分成块、名称节点、数据节点等？
2. 如果我挂载Azure Blob存储容器来分析数据，我还会获得与其他存储选项相同的性能吗？鉴于blob存储是一个基于对象的存储，它是否仍然将文件分成块，并将这些块作为RDD分区加载到Spark executor节点中？

Answer 1

DBFS只是在可伸缩对象存储之上的一个抽象，比如AWS上的S3、Azure上的ADLS、GCP上的Google存储。

默认情况下，在创建工作区时，您将获得一个DBFS实例，即所谓的DBFS根。此外，您还可以在/mnt文件夹下挂载其他存储帐户。写入挂载点路径(/mnt)的数据存储在DBFS根目录之外。尽管DBFS根目录是可写的，但建议您将数据存储在挂载的对象存储中，而不是存储在DBFS根目录中。DBFS根不用于生产客户数据，因为存在一些限制，如缺乏访问控制，您不能访问工作区之外作为DBFS根安装的存储帐户，等等。

存储服务的实际实现（如namenodes等）实际上是被放弃的--您使用与HDFS兼容的API，但在hood下，实现将根据云和存储的风格而有所不同。对于Azure，您可以在这篇博文中找到关于它们实现的一些细节。

关于第二个问题--是的，您仍然应该将文件分成块等。Blob存储和数据湖存储之间存在差异，尤其是对于具有更好的安全模型并可能更好地针对大数据工作负载进行优化的ADLS Gen2。这篇博文描述了它们之间的区别。