使用Azkaban处理故障

Question

有一种方法可以控制作业失败后在Azkaban中发生的事情，我的意思是，如果特定的作业失败，就做特定的事情，假设一个对hive的加载失败了，我想向splank发送错误，这可能吗？或者我应该创建特定的作业来插入并像python那样处理失败

谢谢

Answer 1

我处理这一问题的方法是使用以下作业运行具有命令作业类型的脚本。我让我的脚本检查错误条件，然后只在发现错误时执行和操作。

#!/bin/bash
check=${./_check_script.sh $arg1 $arg2}
if [ -z $check ]; then 
  echo "ERROR FOUND"
  ./_error_action.sh $arg1 $arg2
fi

请注意，在运行任何脚本之前，必须允许Azkaban用户(chmod+x)执行脚本。由于使用.zip作为上载格式，它们不继承权限。

type=command
command=chmod +x _alert_for_error.sh
command.1=chmod +x _check_script.sh
command.2=chmod +x _error_action.sh
command.3=./_alert_for_error.sh