当前位置: 首页 > 知识库问答 >
问题:

ADF数据块python活动从blob存储中而不是从dbfs中选择python脚本

阴迪
2023-03-14

我正在从 Azure 数据工厂运行数据砖 python 活动。我想从 Azure blob 存储/数据湖中选择 python/shell 脚本,而不是 dbfs 路径。我目前的ADF数据砖蟒蛇活动不允许没有“dbfs:/”。

你能帮我一下吗?

共有1个答案

华萧迟
2023-03-14

Databricks Python活动中仅支持dbfs文件路径:https://learn.microsoft.com/en-us/azure/data-factory/transform-data-databricks-python#databricks-python活动属性

您需要考虑使用数据库cli将python文件上传到dbfs的其他方法,也可能通过您的cicd管道。

 类似资料:
  • 我有一个从ADLS Gen2输入的数据工厂(只有这在我们公司是兼容的)。它工作得很好。下图是“复制数据”活动的设置。如图中所示,存储日志(丢失的行数据)时,我们被迫使用blob存储或gen 1数据湖。我们如何使用ADLS Gen2进行此操作?看来是个瓶颈。如果此类数据存储在Gen2之外,我们将有自满的问题

  • 问题内容: 有没有一种方法可以检查表是否存在 而无需 从表中选择和检查值? 也就是说,我知道我可以检查返回的字段数,但是似乎必须有一种更直接/更优雅的方法。 问题答案: 您无需计数。 如果没有错误,则表存在。 或者,如果您想正确,请使用INFORMATION_SCHEMA。 或者,您可以使用 如果结果集中有一行,则表存在。

  • 我正在数据砖笔记本上运行这个 我得到了这个错误 原因:存储异常:服务器无法对请求进行身份验证。确保授权头的值格式正确,包括签名。 我尝试使用 以获取 Azure Blob 存储中的任何更新,但仍收到上述错误。

  • 我在mysql数据库中有名为的表,其中存在类、学生姓名等。 我想在jsp中使用select选项,这样当且仅当首先选择class时,在选择class之后,该特定类的所有学生姓名都应该通过从数据库中检索记录自动(动态)显示在另一个select下拉列表中。 在这里我想使用servlet进行数据库连接,并通过通过jsp访问所有数据库记录

  • 另一个位置问题。我再次尊重你们,因为现在我知道有多少情况下,你们必须这样做才能进行第一次,也许第二次尝试。我(和你)以前的方法同样不起作用。目标页面和标签,我需要href。 这些并不能满足我的需要。

  • 我正在尝试将一个blob存储从我的存储帐户映射到我的databricks集群。我正在跟踪这个链接,显然我只需要在我的笔记本上执行这段代码: 代码蟒蛇: 我被困在参数中:< code>(scope = " 在Database ricks CLI上尝试过: