当前位置: 首页 > 知识库问答 >
问题:

Databricks:dbfs:/vs文件之间的差异:/

隗和裕
2023-03-14

我正在尝试了解Database ricks存储文件的方式,我有点不确定dbfs:/和file:/之间的区别是什么(见下图)

从这里我可以推断,file:/似乎是通过curl/wget下载的外部文件在以下文件夹路径中下载的区域:

%fs ls "file:/databricks/driver"

但是file:/到底是什么,它为什么存在,它与dbfs:/有何不同?

作为记录,我正在使用Databricks的社区免费版本。

共有1个答案

松灿
2023-03-14

Database ricks社区版托管在Amazon Web Services上。

当您在datricks社区版中创建集群时,在幕后会在后端创建一个虚拟机(aws ec2实例),它充当驱动程序节点以通过笔记本运行您的程序。

群集管理服务。该服务将启动AmazonEC2实例VM,其中已为您设置了Spark节点。社区版免费15GB内存集群,常规版按每个节点每小时计费。

%fs ls“file:/”返回在aws云后端运行的虚拟机aws ec2实例中可用的文件夹。

%fs ls返回Database ricks文件系统(DBFS),它是一个分布式文件系统,挂载到Database ricks工作区中,可在Database ricks集群上使用。DBFS是可扩展对象存储(即aws S3存储)之上的抽象。

 类似资料:
  • null msg有什么能力而eml没有,反之亦然?

  • 本文向大家介绍硬件和软件之间的差异。,包括了硬件和软件之间的差异。的使用技巧和注意事项,需要的朋友参考一下 硬件 硬件代表计算机的物理组件,例如其电子部件。例如,CPU,内存,硬盘,显示器,打印机,鼠标等。 软件 软件,代表在计算机系统上执行不同任务的程序。它是由CPU执行的编程代码,可以从键盘,鼠标等输入设备获取指令,并可以在监视器,打印机等输出设备上显示输出。例如MS Word,Google

  • 首先,哪个是最好和最快的unix命令来仅获取两个文件之间的差异?我尝试使用diff来做到这一点(如下)。 我尝试了Neilvert Noval在这里给出的答案-逐行比较两个文件,并在另一个文件中生成差异 法典- 但是,我有很多空间和 我的file1.txt有- 我的file1.txt有- 输出 - “ 此处#Many空格# 预期输出-很高兴来到这里:)

  • 本文向大家介绍FAT32,exFAT和NTFS文件系统之间的差异。,包括了FAT32,exFAT和NTFS文件系统之间的差异。的使用技巧和注意事项,需要的朋友参考一下 操作系统的文件系统提供了一种组织文件和管理驱动器的方法。它指定如何以文件和文件夹的形式存储数据,并提供有关文件的元数据,例如名称,权限,大小和其他属性。FAT32,exFAT和NTFS是Windows操作系统使用的文件系统。FAT3

  • 问题内容: 在一次采访中有人问我“ css 和?有什么区别?” 有人可以解释吗? 问题答案: 表示元素将具有其父容器的100%高度。 意味着,元素将具有灵活的高度,即其高度将取决于其子元素的高度 考虑以下示例: 高度:100% 将会有 高度:自动 现在将有

  • 问题内容: 很快就有两个相等运算符:double equals( )和Triple equals( ),两者之间有什么区别? 问题答案: 简而言之: 操作员检查其实例值是否相等, 操作员检查引用是否指向同一实例, 长答案: 类是引用类型,可能有多个常量和变量在幕后引用类的同一单个实例。类引用保留在运行时堆栈(RTS)中,其实例保留在内存的堆区域中。当您控制平等时, 这意味着它们的实例是否彼此相等。