如何将具有cron调度间隔的气流DAG转换为在美国/纽约运行？

Question

我如何将它转换成一个‘美国/纽约’时区感知气流DAG，它将以同样的方式运行？

我在前面问了一个关于Airflow中的时区感知DAG的问题，但在答案或Airflow文档中，我不清楚如何从具有start_date和tzinfo的schedule_interval的DAG跳转，该DAG模仿cronjob。

我目前正尝试将DAG与my_dag.py文件一起使用，如下所示：

from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from datetime import datetime, timedelta
import pendulum

local_tz = pendulum.timezone("America/New_York")

default_args=dict(
    owner = 'airflow',
    start_date=datetime(2018, 11, 7, 13, 5, tzinfo=local_tz), # 1:05 PM on Nov 7
    schedule_interval=timedelta(hours=1),
)

dag = DAG('my_test_dag', catchup=False, default_args=default_args)

op = BashOperator(
    task_id='my_test_dag',
    bash_command="bash -i /home/user/shell_script.sh",
    dag=dag
)

Answer 1

气流支持使用cron表达式。schedule_interval被定义为一个DAG参数，并且最好接收一个作为str或DateTime.TimeDelta对象的cron表达式。或者，您也可以使用这些cron“预置”中的一个:none、@once、@hourly、@daily、@weekly、@monly、@yearly。

正如我所看到的，时区意识是正确的，但计划间隔应该改变。

args=dict(
owner = 'airflow',
start_date=datetime(2018, 11, 7, 13, 5, tzinfo=local_tz), # 1:05 PM on Nov 7
)

dag=DAG(dag="dagname_here",
default_args=args,
schedule_interval='05 */1 * * 1-5' #should be string)

注意：请注意，如果您在一天的schedule_interval上运行DAG，标记为2016-01-01的运行将在2016-01-01T23:59之后很快触发。换句话说，一旦作业实例所涵盖的期间结束，它就会启动。