Azure Databricks -导出和导入DBFS文件系统

Question

我们刚刚在资源组中创建了一个新的 Azure 数据砖资源。在同一资源组中，有一个 Azure 数据砖的旧实例。从这个旧的数据砖实例开始，我将数据存储在dbfs中的数据复制到最新的数据砖实例中。我该怎么做？我的想法是使用FS命令将数据从一个dbfs复制或移动到另一个数据库，可能是装入卷，但我不明白我该怎么做。你有什么迹象吗？

谢谢，弗朗西斯科

Answer 1

不幸的是，没有直接的方法可以将文件/文件夹从一个工作区导出和导入到另一个工作区。

注意:强烈建议:不要在默认的DBFS文件夹中存储任何生产数据

如何将文件/文件夹从一个工作空间复制到另一个工作区？

您需要从一个工作区手动下载文件/文件夹，并将文件/文件夹上载到另一个工作空间。

最简单的方法是使用DBFS资源管理器:

点击此链接查看:https://imgur.com/aUUGPXR

将文件/文件夹从 DBFS 下载到本地计算机：

方法1:使用Databricks CLI

DBFS命令行界面（CLI）使用DBFS API向DBFS公开易于使用的命令行界面。使用此客户端，您可以使用与Unix命令行上使用的命令类似的命令与DBFS交互。例如：

# List files in DBFS
dbfs ls
# Put local file ./apple.txt to dbfs:/apple.txt
dbfs cp ./apple.txt dbfs:/apple.txt
# Get dbfs:/apple.txt and save to local file ./apple.txt
dbfs cp dbfs:/apple.txt ./apple.txt
# Recursively put local dir ./banana to dbfs:/banana
dbfs cp -r ./banana dbfs:/banana

参考：安装和配置Azure Databricks CLI和Azure Databricks–访问DBFS

方法2：使用名为DBFS资源管理器的第三方工具

DBFS资源管理器是作为上传和下载文件到Databricks文件系统(DBFS)的一种快捷方式而创建的。这将适用于AWS和Azure databrick实例。为了进行连接，您需要在web界面中创建一个不记名令牌。

将文件/文件夹从本地机器上传到DBFS:

有多种方法可以将文件从本地计算机上传到 Azure 数据砖 DBFS 文件夹。

方法1:使用Azure Databricks门户。

方法 2： 使用数据砖 CLI

DBFS命令行界面（CLI）使用DBFS API向DBFS公开易于使用的命令行界面。使用此客户端，您可以使用与Unix命令行上使用的命令类似的命令与DBFS交互。例如：

# List files in DBFS
dbfs ls
# Put local file ./apple.txt to dbfs:/apple.txt
dbfs cp ./apple.txt dbfs:/apple.txt
# Get dbfs:/apple.txt and save to local file ./apple.txt
dbfs cp dbfs:/apple.txt ./apple.txt
# Recursively put local dir ./banana to dbfs:/banana
dbfs cp -r ./banana dbfs:/banana

方法3：使用名为DBFS资源管理器的第三方工具

DBFS资源管理器是作为上传和下载文件到Databricks文件系统(DBFS)的一种快捷方式而创建的。这将适用于AWS和Azure databrick实例。为了进行连接，您需要在web界面中创建一个不记名令牌。

步骤1：下载并安装DBFS Explorer并安装它。

步骤2:打开DBFS浏览器，输入:数据块URL和个人访问令牌

Step3：选择要从本地计算机上传文件的文件夹，只需拖放到要上传的文件夹中，然后单击上传即可。