Azkaban：将参数传递给基础职务代码

Question

是否可以将选项从azkaban工作流传递到基础职务代码？

我有这样的东西，它有点适用于硬编码/预先知道的日期，但我希望有一个选项来指定执行流时的日期：

from azkaban import Job, Project
import datetime
import os
from datetime import datetime, timezone, timedelta




options = {
            'start.date' : today.strftime('%Y-%m-%d'), # Can we pass this as an argument to the underlying code?
            'day.offset' : 1
            }

project = Project('my_project',root=__file__)
project.add_file('my_shell_script.sh', 'my_shell_script.sh')
project.add_job('my_job', Job(options, {'type' : 'command' : 'bash my_shell_script <pass date here?>'}))
project.add_job('my_job', Job(options, {'type' : 'command' : 'java -jar test.jar <pass date here?>'}))

谢了，沙拉特

Answer 1

在Azkaban流中不相邻的作业之间传递参数的一种方法是在需要参数之前对JOB_OUTPUT_PROP_FILE进行操作。有必要使用shell脚本执行此操作，因为JOB_OUTPUT_PROP_FILE变量不能直接用于给定的作业。这种方法将相关信息写入文件，并在需要之前使用helper脚本读取。参数可以通过在每个步骤写入JOB_OUTPUT_PROP_FILE传递给相邻的作业。

1. 将包含要传递的信息的文件写入磁盘
2. 创建一个helper/preparation shell脚本，该脚本在需要参数的作业之前运行
3. 在作业中使用该参数

在流中第一个作业运行的日期需要由后一个作业使用的情况下，首先将相关数据写入文件。在本例中，YYYY-MM-DD格式的当前日期被写入一个名为rundate.text的本地文件。

#step_1.job
type=command
dependencies=initialize_jobs
command=whoami
command.1=/bin/sh -c "date '+%Y-%m-%d' > rundate.text"

然后，就在需要参数之前，运行一个prep脚本以使参数可用。

#step_4_preparation.job
type=command
dependencies=step_3
command=whoami
command.1=/bin/bash rd.sh

步骤4准备执行以下shell脚本（rd.sh）

#!/bin/sh
# this script takes the run_date value from the text file and passes it to Azkaban
# Now, the variable can be used in the next step of the job

RD=$(cat rundate.text)

echo "Now setting Job Output Property File with RD (run date) variable"
echo $RD


#This is the point where the parameter is written in JSON format
#to the JOB_OUTPUT_PROP_FILE, which allows it to be used in the next step
echo '{"RD" : "'"$RD"'"}' > "${JOB_OUTPUT_PROP_FILE}"

然后，在下面的步骤中，可以使用参数，在本例中为${RD}。

# step_4.job
type=command
dependencies=step_4_preparation
command=whoami
command.1=bash -c "echo ${RD} is the run date"