Azure Database ricks中DBFS的数据大小限制是多少

Question

我在这里读到，AWS数据砖的存储限制为单个文件的5TB，我们可以存储任意数量的文件，那么同样的限制是否适用于Azure数据砖？或者，是否对 Azure 数据砖应用了其他限制？

更新：

@CHEEKATLAPRADEEP感谢您的解释，但是，有人能分享一下背后的原因吗:“我们建议您将数据存储在挂载对象存储中，而不是DBFS根目录中”

我需要在Power BI中使用DirectQuery(因为数据量巨大),而ADLS目前还不支持。

Answer 1

Databricks文档说明：

仅支持大小小于 2GB 的文件。如果使用本地文件 I/O API 读取或写入大于 2GB 的文件，则可能会看到损坏的文件。相反，请使用数据库坐标系 CLI、数据库利用率访问大于 2GB 的文件

你可以在这里阅读更多： https://learn.microsoft.com/en-us/azure/databricks/data/databricks-file-system

Answer 2

来自Azure Database ricks最佳实践：不要将任何生产数据存储在默认DBFS文件夹中

重要说明：即使 DBFS 根目录是可写的，我们也建议您将数据存储在挂载的对象存储器中，而不是存储在 DBFS 根目录中。

建议将数据存储在装载的存储帐户中而不是存储在存储帐户中的原因位于ADB工作区中。

原因1：当您通过存储资源管理器在外部使用同一存储帐户时，您没有写入权限。

原因2:不能对另一个ADB工作区使用相同的存储帐户，也不能对Azure Data Factory或Azure synapse工作区使用相同的存储帐户链接服务。

原因 3：将来，你决定使用 Azure 突触工作区而不是 ADB。

原因4:如果你想删除现有的工作空间怎么办。

Databricks文件系统(DBFS)是一个分布式文件系统，安装在Azure Databricks工作区中，在Azure Databricks集群上可用。DBFS是可扩展对象存储(即ADLS第二代)之上的抽象。

对于可以在 Azure 数据湖存储第 2 代中存储的数据量没有限制。

注意：Azure Data Lake Storage Gen2能够存储和服务许多EB的数据。

对于Azure Databricks文件系统(DBFS) -仅支持小于2GB的文件。

注意：如果使用本地文件 I/O API 读取或写入大于 2GB 的文件，则可能会看到损坏的文件。相反，请使用 DBFS 命令行管理单元、数据库残点或火花 API 访问大于 2GB 的文件，或使用 /dbfs/ml 文件夹。

对于Azure存储-最大存储帐户容量为5 PiB PB。

下表描述了Azure通用v1、v2、Blob存储和块Blob存储帐户的默认限制。入口限制是指发送到存储帐户的所有数据。出口限制是指从存储帐户接收的所有数据。

注意:单个块blob的限制是4.75 TB。