AWS Fargate vs Batch vs ECS用于一天一次的批处理过程

Question

我有一个批处理过程，用PHP编写，嵌入到一个Docker容器中。基本上，它从几个webservices加载数据，对数据进行一些计算（在~1h期间），并将计算出的数据发布到另一个webservice，然后容器退出（返回代码为0，如果OK，则返回代码为1，如果进程中的某个地方失败）。在此过程中，会在STDOUT或stderr上写入一些日志。批处理必须每天触发一次。

我想知道用来调度、执行和监视批处理过程的最佳AWS服务是什么：

• 一开始，我使用的EC2机器带有crontab：这里没有高可用性的函数，所以我决定切换到更多的PaaS方法。
• 然后，我使用弹性Beanstalk for Docker，带有一个不起作用的Webserver（仅用于回复Healthcheck)，容器中有一个Crontab来唤醒我的批处理命令，每天一次。使用自动缩放规则min=1 max=1，我有HA（如果容器崩溃，或者如果VM崩溃，则由AWS重新启动）
• 但现在，为了提高效率，我决定转到一些ECS服务，并采用一种方法，使EC2实例不需要23/24白白唤醒。所以我尝试了Fargate。
• 使用Fargate我定义了我的任务（Fargate类型，而不是EC2类型），并在上面配置了所有内容。
• 我创建一个集群来运行我的任务：我可以“手动运行一次”我的任务，因此我知道每个设置都是正确的。

现在，深入法盖特，我想让我的任务每天执行一次。

>

当我使用ECS的调度任务特性时，它似乎工作得很好：容器准时启动，流程运行，然后容器停止。但是CloudWatch缺少一些度量：没有报告CPUReservation和CPUUVERATILY。此外，无法知道批处理是退出代码为0还是退出代码为1（所有执行停止，状态为“stopped”）。因此,如果容器执行失败,我无法发送CloudWatch警报。

以下是我的问题：什么是最合适的AWS托管服务来每天触发一次容器，让它运行来完成它的任务，并且有报告功能来跟踪执行（CPU使用情况，批处理持续时间），包括当任务失败时的警报(SNS)？

Answer 1

我们在识别失败的作业时也遇到了同样的问题。我建议您研究一下AWS批处理,在该批处理中,CloudWatch日志中提供了失败作业的日志；看看这里。您还应该考虑的一件事是最终选择的任何解决方案的总拥有成本。法盖特，在这方面，是相当昂贵的。