用于Delta表、Delta日志、分区等的Database ricks/Spark存储机制

Question

我试图理解数据在DataBricks环境中是如何存储和管理的。我对引擎盖下发生的事情有一个相当不错的理解，但在网上看到了一些相互矛盾的信息，因此希望得到一个详细的解释来巩固我的理解。为了提出我的问题，我想总结一下我在Apache Spark开发人员课程中所做的部分练习。

作为练习的一部分，我在Databricks平台上遵循了以下步骤：

1. 启动我的群集
2. 将拼花文件读取为DataFrame
3. 将DataFrame作为Delta表存储在DBFS的用户目录中
4. 对上一步骤中创建的增量表进行了一些更改
5. 基于特定列（例如State）对相同的Delta表进行分区，并使用覆盖模式将其保存在DBFS中的同一用户目录中

按照上述步骤操作后，以下是我的DBFS目录的外观：

DBFS增量日志目录

在我用来存储Delta表（上图）的根文件夹中，我有以下类型的文件夹/文件

1. 增量日志文件夹
2. 具有“状态”名称的文件夹（步骤5.上一节），每个状态文件夹还包含4个镶木地板文件，我怀疑这些文件是数据集的分区
3. 四个单独的镶木地板文件，我怀疑它们是我创建此增量表时的文件（在上一节的步骤3中）

基于上述练习，以下是我的问题：

1. 是我在上面的目录中看到的数据-状态命名文件夹，其中包含分布在我的节点上的分区、拼花文件、增量日志等（我认为答案是肯定的）。
2. 根文件夹中的四个拼花文件（从我创建增量表时开始，在分区之前）-假设它们分布在我的节点上-它们存储在我的节点的RAM中吗？delta_log文件夹中的数据存储在哪里？如果它跨越我的节点-它是存储在RAM还是磁盘内存中？
3. 数据（每个状态名称文件夹下的拼花文件/分区-来自上面的屏幕截图）存储在哪里？如果它也分布在我的节点上，它是在内存（RAM）中还是在磁盘上？

我在网上看到的一些答案说，所有的分区都存储在内存（RAM）中。按照这个逻辑，一旦我关闭了我的集群 - 它们应该从内存中删除，对吧？

然而，即使当我关闭集群时，我也可以查看DBFS中的所有数据（与我上面的图片完全相似）。我怀疑一旦集群关闭，RAM就会被清除，因此，我不应该看到RAM中的任何数据。我的理解不正确吗？

如果你能尽可能详细地回答我的问题，我将不胜感激。

Answer 1

当您将数据写到DBFS时，它被存储在独立于您的集群的某种形式的永久对象存储中。这就是集群关闭后它仍然存在的原因。这是什么样的存储取决于您的Databricks工作区运行的是哪种云。

这是分离计算和存储的主要思想，你的集群是其他地方的计算和存储。当你读入和处理数据时，只有当数据分布在你的节点上进行处理时。一旦你的集群关闭，节点上的所有数据都会消失，除非你已经把它写到某种形式的永久存储中。