当运行的任务过多时，气流运行状况检查失败？

Question

我有一个容器Airflow安装程序，使用LocalExector在马拉松上运行。我运行了一个运行状况检查，可以ping Airflow网络服务器上的/Healthendpoint。它目前有5个cpu分配给它，网络服务器正在运行4个Gunicorn。昨晚我有大约25个任务同时运行。这导致健康检查失败，没有一条有用的错误消息。容器刚刚收到一个SIGTERM。我想知道是否有人可以提出导致健康检查失败的可能罪魁祸首？是CPU争用吗？我没有创建足够的gunicorn工作人员来响应健康检查请求吗？我有一些想法，但我不确定原因。

以下是Marathon中的健康检查配置：

[
  {
    "gracePeriodSeconds": 300,
    "intervalSeconds": 60,
    "timeoutSeconds": 20,
    "maxConsecutiveFailures": 3,
    "portIndex": 0,
    "path": "/admin/",
    "protocol": "HTTP",
    "ignoreHttp1xx": false
  }
]

Answer 1

是的，我以前见过类似的问题，有没有可能从LocalExecutor和单节点气流服务中迁移出来。

如果没有，这是垂直扩展实例的情况，以便能够在任务//调度程序的大量计算需求期间处理Web请求。