在AWS Datapipeline完成后删除已处理的源文件

Question

#!/usr/bin/env bash
set -eu -o pipefail

aws s3 cp s3://example/processor/transform.awk /tmp/transform.awk

for f in "${INPUT1_STAGING_DIR}"/*; do
  basename=${f//+(*\/|.*)}
  unzip -p "$f" | awk -f /tmp/transform.awk | gzip > ${OUTPUT1_STAGING_DIR}/$basename.tsv.gz
done

Answer 1

几种可能的解决方案：

>

在您的s3桶上创建一个触发器。每当将任何对象添加到bucket-->调用lambda函数（可以是执行转换的python脚本）-->复制回另一个bucket。现在，在另一个bucket上再次调用lambda函数，从第一个bucket中删除文件。

我个人感觉；您所取得的成果已经足够好了。您所需要的只是在shell脚本中进行异常处理，并且只有在成功创建输出文件时才删除文件（永远不要丢失数据）（可能您还可以检查输出文件的大小）