当前位置: 首页 > 知识库问答 >
问题:

蟒蛇 / 数据库工具 / Databricks

空慈
2023-03-14

我是Python新手,需要数据块方面的帮助。

我需要使用 Python 将文件从 Azure Blob 复制到 ADLS。

我需要Python文件中的代码,并需要从数据块而不是笔记本上执行。

我尝试了下面的方法,

使用spark.conf.set,我设置了Blob和ADLS的访问密钥。我使用dbutils.fs。cp复制文件。

它执行时没有任何错误,但文件实际上没有复制到ADLS。

任何帮助将不胜感激。

谢谢

共有1个答案

殷建弼
2023-03-14

我能够使用Databricks实用工具命令(dbuitls.fs.cp(“源”,“目标”)将文件从Azure Blob存储移动到ADLS:

首先,我安装了名为(/mnt/chepra)的Azure Blob存储帐户和名为(.mnt/flightdata)的ADLS Gen2帐户。

Azure Blob存储挂载:(/mnt/chepra)

Azure Data Lake Storage (/mnt/flightdata)

现在,您可以使用data ricks实用程序命令从Azure Blob存储cp到Azure Data Lake Storage,如下所示:

dbutils.fs.cp('/mnt/chepra/sales.csv', '/mnt/flightdata')

希望这能有所帮助。

 类似资料:
  • 我正在运行Ubuntu 18.04。 我使用mysql连接器-python连接Python到MySQL。 我使用的是Python 3.6.7,并且已经安装了mysql连接器-python。 我已经安装了mysql连接器-python-py3_8.0.13-1ubuntu18.10_all.deb. 在运行Python脚本时,mysql。连接器模块似乎加载正确,但脚本在碰到光标时失败。next()具

  • 假设我有一些资源,我想在用python编写的aws lambda中的不同请求之间共享。我应该如何实现这一点? 是否有“启动后”挂钩,或者我应该在第一次调用时惰性地创建资源?“延迟初始化”的缺点是,它意味着一些请求会随机变慢,因为您选择了一个消费者来承担启动成本。 此外…这些资源会在lambda可执行文件被“冻结”后幸存下来吗? 本页https://docs.aws.amazon.com/lambd

  • 我已经学习了Djangogirs教程,该教程通常要求您在<code>pythonanywherepostgresql</code>并且在控制台中运行<code>migrate</code>命令时,我得到了以下错误: 这到底是什么意思? 使用 谢啦 好吧,在读了一些之后,这是我的问题。 我在本地运行了后gresql。然后,我将 wbapp 部署到了蟒蛇的任何地方。在那里,我试图通过运行迁移来创建数据

  • 我需要在我的中添加一个新的目录位置,但问题是我使用的是一个全新安装的系统(Linux),其中尚未定义任何。我读过并使用过,我认为我很了解它,但我不知道当没有存在时会发生什么。 我不能附加到不存在的东西上,但我希望当前发现的所有重要库都能正常工作,因此要小心,我在Python中使用了来获取所有标准值。然后我为定义了一个-变量,包括我刚刚找到的所有节点,以及我的新目录。但是哇,很多东西都停止工作了!P

  • 一、本功能说明 对全站数据进行导出备份或者将备份的数据库恢复 注意事项:   备份数据请确保根目录的caches文件夹具有写入权限。 二、子功能导航 1.数据备份 2.数据还原 3.数据修复 三、功能详解 1.数据备份 1).如何进入本功能 导航栏 选择扩展 -> 菜单栏 选择 数据库工具 2).界面解释 点击后显示如下界面 界面详述 1). 分卷大小: 您可以自行定义单个数据包文件的大小,不建议

  • 我想定义一个返回树节点值列表的函数。列表按级别顺序排列(从上到下,从左到右),如果缺少孩子,则在其位置插入“无”。 这是二叉树实现