当前位置: 首页 > 知识库问答 >
问题:

如何使用Azure DataRicks活动在Azure Data Factory中执行python Wheel类/方法(而不是脚本)?

马德厚
2023-03-14

是否可以使用Azure DataRicks活动在Azure Data Factory中执行python Wheel类/方法(而不是脚本),就像在java中执行java打包方法一样。罐子与脚本不同的是,它能够返回一个或多个值,而无需执行诸如将它们掩埋在stdout之类的操作。

我无法搜索任何内容,我尝试使用jar活动,但运气不佳,这并不让我惊讶,但值得一试。

如果不是的话,我要寻找的是一种使用Azure Databricks计算并从python作业返回一小部分值的方法。我已经成功地使用了用于databricks python脚本的ADF活动。

蒂娅!

共有1个答案

程飞星
2023-03-14

对将控制盘添加为群集中的库。然后创建一个。导入库并调用所需方法的py文件。将py文件保存到dbfs卷上。

创建一个使用python任务的数据工厂管道,并将其指向py文件。你也可以传递参数。

你也可以用一个笔记本来导入图书馆。

这篇博文(及其系列文章)应该会有所帮助https://datathirst.net/blog/2019/9/20/building-pyspark-applications-as-a-wheel

 类似资料:
  • 我试图在单击监听器中使用底部工作表,但我在这一行上得到了一个错误。 BottomSheetFragment.show(getSupportFragmentManager()) 无法解析方法“show(?,java.lang.String)”无法解析方法“get supportfragmentManager() 我想在一个片段类中使用底部的工作表。 subcategoryDetailFragment

  • 我目前正在查看这个文档,以便使用R和taskscheduleR在我的机器上自动运行一个脚本。我对本文档中的以下内容感到困惑: 在文档中的示例中,什么是“extdata”,这应该是我的R脚本的文件路径,并且是“helloworld”。R“实际的R脚本? 我目前对此的理解如下:其中C:/Users/santi/Documents/R Scripts是我的文件路径,Wayerhaeuser_Automa

  • 问题内容: 嗨,我正在尝试执行脚本以使用Golang将数据填充到数据库中 问题是我遇到了错误: 我认为问题是执行人员认为是dbname的最后一个参数(sql脚本路径) 终端中的以下命令正在运行: 但我尝试在Go中复制以自动执行脚本。 该脚本具有删除表,创建表,插入和具有FK关系的PK,这是一个非常完整的脚本,因此我无法逐行执行,因此我决定执行de mysql程序以将数据插入数据库中。 有什么建议?

  • 我是一个相当新的Android程序员,在完成了几个教程后,我开始扩展我完成的BMI计算器教程。在此过程中,我需要删除并重新安装Eclipse。我还不得不切换工作区。由于我的错误,我只能保留应用程序的。java文件。我重新创建了。xml和清单,直到现在,当我尝试单击calculate按钮时,才得到了IllegalStateException。在切换和重新创建之前,一切都很好。我正在使用Nexus G

  • 我和NGINX的关系很紧张,这让我很疯狂。我有Ubuntu 12.04。VirtualBox上有3个LTS。我按照以下说明安装了NGINX-MYSQL-PHP: 安装php5 fpm 然后我在/etc/nginx/sites available/default中设置: 本地主机和信息。php被正确执行。现在我想建立一个本地网站,并尝试做一些重定向。因此,我在/usr/share/nginx/www