当前位置: 首页 > 知识库问答 >
问题:

Cloud Composer气流:设置DAWs以在HTTP上触发(或者我应该使用云函数?)

江睿
2023-03-14

最后,我想做的是让Python脚本在创建HTTP请求时动态运行。这就像:App 1运行并发送一个webhook,Python脚本立即捕获webhook并执行它所做的任何操作。

我看到您可以在GCP中使用Composer和Airflow来完成此操作。

但是我有几个问题遵循这些指示https://cloud.google.com/composer/docs/how-to/using/triggering-with-gcf:

>


your-project-id@appspot.gserviceaccount.com
-成员=服务帐户:your-project-id@appspot.gserviceaccount.com
-角色=角色/iam.service

当我输入我的项目ID时,我得到一个“盖亚ID找不到your-project-id@appspot.gserviceaccount.com”

有没有更好的方法来做我想做的事情(即动态运行Python脚本)?

共有1个答案

姬和歌
2023-03-14

获取的原因:找不到电子邮件的Gaia id

  1. 创建或选择要使用的Google云平台项目
gcloud iam service-accounts add-iam-policy-binding \
<your-project-id>@appspot.gserviceaccount.com \
--member=serviceAccount:<your-project-id>@appspot.gserviceaccount.com \
--role=roles/iam.serviceAccountTokenCreator

我测试了该场景,首先没有启用API,我检索到与您相同的错误。启用API后,错误消失,IAM策略已正确更新。

已经有了描述良好的Codelabs教程,其中显示了使用Google云功能触发DAG的工作流程。

 类似资料:
  • 问题内容: 我的日常工作是使用AngularJS进行客户开发。我们正在评估是否要使用TypeScript。我对Typescript进行了一些研究,几乎我需要的每个JavaScript包都必须具有定义类型文件。我发现这不是很方便,特别是如果我想尝试新的东西并且他们没有它的定义时。真令人沮丧。(即使当前的jQuery定义也给我一些问题,如果我想使用Typescript1.5 beta)。我开始研究ES

  • 问题内容: 我正在使用docker-compose设置可扩展的气流集群。我基于此Dockerfile https://hub.docker.com/r/puckel/docker- airflow/ 我的问题是将日志设置为从s3写入/读取。当dag完成后,我会收到这样的错误 我像这样在文件中设置了一个新部分 然后在“远程日志”部分中指定s3路径 我是否对此进行了正确设置并且存在错误?这里缺少成功的

  • 我在Google Cloud Composer中从Airflow调用数据流作业, a、 b和c是调用数据流作业的任务。我只想在数据流作业完成后运行b,问题是它们都同时运行。 我怎么能等到之前的工作完成?

  • 应该在哪里更新芹菜设置?远程工作者还是发送者? 例如,我有一个使用Django和Celery的API。API通过代理(RabbitMQ)将远程作业发送给我的远程工作者。工作人员正在运行python脚本(不使用Django),有时这些工作会产生子任务。 我已经在两侧(发送者和工作人员)创建了芹菜设置,即它们都需要。但是,假设我想添加设置,我应该将此设置添加到哪一端?每个远程工作者还是发送方 (API

  • 问题内容: 我不知道该怎么办: 要么: 问题答案: 绝对更pythonic。 实际上已在Python 3.x中删除 。

  • 问题内容: 许多使用Shell脚本配置其环境的Java应用程序都使用环境变量来启动Java的正确版本,找到JRE JAR,等等。 在OSX 10.6上,以下路径似乎对此变量有效 其中一些是到实际当前VM的符号链接(在Java Preference窗格中定义)。 但是应该使用哪一个?或者可以使用其中任何一个? 问题答案: 我只是设置JAVA_HOME为该命令的输出,该命令应该为你提供Java首选项中