当前位置: 首页 > 面试题库 >

如何设置Airflow中DAG之间的依赖关系?

荆梓
2023-03-14
问题内容

我正在使用Airflow计划批处理作业。我有一个DAG(A)每晚运行,另一个DAG(B)每月运行一次。B取决于A已成功完成。但是B需要很长时间才能运行,因此我想将其保存在单独的DAG中,以实现更好的SLA报告。

如何使运行DAG B依赖于同一天DAG A的成功运行?


问题答案:

您可以使用名为ExternalTask​​Sensor的运算符来实现此行为。将安排DAG(B)中的任务(B1),并等待DAG(A)中的任务(A2)成功完成



 类似资料:
  • 如何将Airflow dag配置为每天在指定时间执行,无论发生什么,就像crons一样。 我知道使用 TimeSensor 可以获得类似的行为,但在这种情况下,这取决于传感器任务,并且可能与 dag 执行时间冲突。 示例:对于传感器方法,如果我让传感器在0小时15分钟运行,但如果dag在稍后执行,则我的任务会延迟,因此即使对于传感器方法,我也需要确保Dag在正确的时间执行。 那么如何确保Dag在指

  • 问题内容: 最近,我接受了用JSF编写的Web系统的支持和编程。代码有点凌乱和多余,是的,​​不存在任何文档。 该系统具有40多个jar库,由于旧版本和测试,其中大多数是冗余的。要删除一个jar,我必须检查它是否未在代码中导入,因此我在代码中搜索了jar导入路径(我正在使用IntelliJ IDE),确保未使用它,然后将其删除。 但是,在编译代码后,在测试过程中发生了许多运行时错误。我发现我删除了

  • 因此,自从添加新的Room android架构库以来,这种情况已经开始发生。我在AppDatabase_Impl没有过期时遇到问题,我通过在注释中添加kapt来修复它: < li>Android Room持久性库和Kotlin < li >在Kotlin中实现房间持久性库 < in Kotlin中的房间持久性库实现(Gradle错误) 我怀疑其他错误是由于AS、Kotlin和Java 8造成的,所

  • 问题内容: 我的问题是,例如,当我创建一个表时:以下几列: 哪里是用。 然后以列为例: 凡是与外键是从。 应该是说我已经建立的关系和使用。 这两个表最初都是空的,因此我编写了以下SQL命令: 这很好用,但是当我尝试插入子表()时,它告诉我: 错误外键约束 所以基本上我想要做的是插入到父表,然后到子表,以便显示出来的(子表)的外键,相当于用在(父表)。 我必须先创建两个表,而无需使用外键,然后再尝试

  • 在我的公司,我们正在开发一个面向方面的跟踪拦截器,类似于。我们正在配置并使用为AOP自动代理bean。 我们面临的问题是,当我们在配置中引入时: 我们得到一个org.springframework.beans.factory.NoSuchBeanDefinitionException:没有[X]类型的限定bean,其中X是一个Resteasy代理。此Resteasy代理在中声明。 现在,如果我将R

  • 我只是从GitHub操作开始,并尝试正确配置作业。现在我有了一个建立python并安装依赖项的作业构建,我还有一个需要运行依赖项的behave test作业。当我在一个工作中进行测试和构建时,一切正常。但我想在不同的工作中进行构建和测试。但是当我在这个配置中运行它们时,我得到了错误。我在requirementx中安装了Behave。txt文件。我做错了什么?这种配置通常可能吗?