工作人员发回芹菜、redis和rabbitMQ结果的延迟时间为2分钟

Question

我所拥有的：

我用rabbitMQ作为代理运行芹菜，用redis作为结果后端。我有一个发送任务和处理任务的工人的应用程序。

我按如下方式进行了部署:

• 应用程序、redis、RabbitMQ和一个工作人员（让我们称他为“local_worker”）正在使用docker-compose在azure VM上运行，因此我使用docker版本的RabbitMQ和redis（6.2.5）。RabbitMQ和redis端口在VM上打开，这些容器配置了用户名和密码。
• 我使用连接到VM上运行的redis和RabbitMQ的azure容器实例添加工作人员。

首先，如果你对这个架构有建议，我很乐意得到建议。

问题：

一切都很好，任务被分派给不同的工作人员，这些工作人员返回结果等。。。

如果在30分钟后没有任务运行的情况下发送任务，我观察到redis延迟为2分钟，此时任务没有发送到“local_worker”。

• 我知道这一定来自redis，因为我可以在发送任务后立即在worker容器实例中看到任务的日志
• 我使用flower和graphana以及celery prometheus exporter来监控此架构，以便监控任务的延迟。在flower上，潜在任务处于“加工”状态
• 对于无任务间隔后的第一个任务，且“local_worker”未处理的任务，还有120秒的时间
• 当任务由与redis在同一个VM上运行的“local_worker”处理时，不会发生这种情况

这就像redis或VM在发回结果之前沉睡了2分钟。因为正好是120秒（2分钟），我希望它是redis、芹菜或azure想要的东西（确定性的东西）

我不使用redis.conf文件，只使用默认设置（密码除外）来运行redis服务器。

感谢您对我的架构和问题的帮助和反馈。

第一个和第三个任务已经由本地工作人员处理。第二个是由外部工作人员处理的。在外部工作人员的日志上，我在返回结果之前放了一条打印线，这条线是在14:14:23打印的。所以从这次打印到任务的正式结束有120秒。

编辑：

我发现redis_socket_timeout的默认值为120秒。

我删除了行redis_retry_on_timeout=True并在我的芹菜配置文件中添加了行redis_socket_keepalive=True。现在我得到的错误是任务失败，redis.exceptions.TimeoutError：从套接字读取超时。我不知道为什么套接字超时而结果已准备好。是我的容器实例的网络问题吗？

这是我的docker-compose:

version: "3.5"
services:

  rabbitmq:
    image: rabbitmq:3.8-management
    restart: always
    ports:
      - 5672:5672
    labels:
      - traefik.enable=true
      - traefik.http.services.rabbitmq-ui.loadbalancer.server.port=15672
      - traefik.http.routers.rabbitmq-ui-http.entrypoints=http
      - traefik.http.routers.rabbitmq-ui-http.rule=(Host(`rabbitmq.${HOSTNAME?Variable not set}.example.app`))
      - traefik.docker.network=traefik-public
      - traefik.http.routers.rabbitmq-ui-https.entrypoints=https
      - traefik.http.routers.rabbitmq-ui-https.rule=Host(`rabbitmq.${HOSTNAME?Variable not set}.example.app`)
      - traefik.http.routers.rabbitmq-ui-https.tls=true
      - traefik.http.routers.rabbitmq-ui-https.tls.certresolver=le
      - traefik.http.routers.rabbitmq-ui-http.middlewares=https-redirect
    env_file:
      - .env
    environment:
      - RABBITMQ_DEFAULT_USER=${RABBITMQ_DEFAULT_USER}
      - RABBITMQ_DEFAULT_PASS=${RABBITMQ_DEFAULT_PASS}

    networks:
      - traefik-public


  redis:
    image: redis:6.2.5
    restart: always
    command: ["redis-server", "--requirepass", "${RABBITMQ_DEFAULT_PASS:-password}"]
    ports:
      - 6379:6379
    networks:
      - traefik-public

  flower:
    image: mher/flower:0.9.5
    restart: always
    labels:
      - traefik.enable=true
      - traefik.http.services.flower-ui.loadbalancer.server.port=5555
      - traefik.http.routers.flower-ui-http.entrypoints=http
      - traefik.http.routers.flower-ui-http.rule=Host(`flower.${HOSTNAME?Variable not set}.example.app`)
      - traefik.docker.network=traefik-public
      - traefik.http.routers.flower-ui-https.entrypoints=https
      - traefik.http.routers.flower-ui-https.rule=Host(`flower.${HOSTNAME?Variable not set}.example.app`)
      - traefik.http.routers.flower-ui-https.tls=true
      - traefik.http.routers.flower-ui-https.tls.certresolver=le
      - traefik.http.routers.flower-ui-http.middlewares=https-redirect

      - traefik.http.routers.flower-ui-https.middlewares=traefik-admin-auth

    env_file:
      - .env
    command:
      - "--broker=amqp://${RABBITMQ_DEFAULT_USER:-guest}:${RABBITMQ_DEFAULT_PASS:-guest}@rabbitmq:5672//"
    depends_on:
      - rabbitmq
      - redis

    networks:
      - traefik-html" target="_blank">public

  local_worker:
    build:
      context: ..
      dockerfile: ./setup/devops/docker/app.dockerfile
    image: swtools:app
    restart: always
    volumes:
      - ${SWTOOLSWORKINGDIR:-/tmp}:${SWTOOLSWORKINGDIR:-/tmp}
    command: ["celery", "--app=app.worker.celery_app:celery_app", "worker", "-n", "local_worker@%h"]
    env_file:
      - .env
    environment:
      - RABBITMQ_DEFAULT_USER=${RABBITMQ_DEFAULT_USER}
      - RABBITMQ_DEFAULT_PASS=${RABBITMQ_DEFAULT_PASS}
      - RABBITMQ_HOST=rabbitmq
      - REDIS_HOST=${HOSTNAME?Variable not set}
    depends_on:
      - rabbitmq
      - redis
    networks:
      - traefik-public

  dashboard_app:
    image: swtools:app
    restart: always
    labels:
      - traefik.enable=true
      - traefik.http.services.dash-app.loadbalancer.server.port=${DASH_PORT-8080}
      - traefik.http.routers.dash-app-http.entrypoints=http
      - traefik.http.routers.dash-app-http.rule=Host(`dashboard.${HOSTNAME?Variable not set}.example.app`)
      - traefik.docker.network=traefik-public
      - traefik.http.routers.dash-app-https.entrypoints=https
      - traefik.http.routers.dash-app-https.rule=Host(`dashboard.${HOSTNAME?Variable not set}.example.app`)
      - traefik.http.routers.dash-app-https.tls=true
      - traefik.http.routers.dash-app-https.tls.certresolver=le
      - traefik.http.routers.dash-app-http.middlewares=https-redirect

      - traefik.http.middlewares.operator-auth.basicauth.users=${OPERATOR_USERNAME?Variable not set}:${HASHED_OPERATOR_PASSWORD?Variable not set}
      - traefik.http.routers.dash-app-https.middlewares=operator-auth

    volumes:
      - ${SWTOOLSWORKINGDIR:-/tmp}:${SWTOOLSWORKINGDIR:-/tmp}

    command: ['waitress-serve', '--port=${DASH_PORT:-8080}', 'app.order_dashboard:app.server']
    env_file:
      - .env
    environment:
      - RABBITMQ_DEFAULT_USER=${RABBITMQ_DEFAULT_USER}
      - RABBITMQ_DEFAULT_PASS=${RABBITMQ_DEFAULT_PASS}
      - RABBITMQ_HOST=rabbitmq
      - REDIS_HOST=${HOSTNAME?Variable not set}
    networks:
      - traefik-public
    depends_on:
      - rabbitmq
      - redis
networks:
  traefik-public:
    external: true

和我的芹菜配置文件：

import os
import warnings
from pathlib import Path

# result backend use redis
result_backend_host = os.getenv('REDIS_HOST', 'localhost')
result_backend_pass = os.getenv('REDIS_PASS', 'password')

result_backend = 'redis://:{password}@{host}:6379/0'.format(password=result_backend_pass, host=result_backend_host)


# redis_retry_on_timeout = True
redis_socket_keepalive = True

# broker use rabbitmq
rabbitmq_user = os.getenv('RABBITMQ_DEFAULT_USER', 'guest')
rabbitmq_pass = os.getenv('RABBITMQ_DEFAULT_PASS', 'guest')
rabbitmq_host = os.getenv('RABBITMQ_HOST', 'localhost')




broker_url = 'amqp://{user}:{password}@{host}:5672//'.format(user=rabbitmq_user, password=rabbitmq_pass, host=rabbitmq_host)


include = ['app.worker.tasks', 'app.dashboard.example1', 'app.dashboard.example2']


#task events
worker_send_task_events = True
task_send_sent_event = True

所有env变量都已定义，除了我的套接字超时问题外，它工作得很好！当我在容器实例上部署新的工作线程时，我设置了 env 变量，以便它连接到在 docker 组合上运行的 rabbitmq 和 redis。

下面是我的芹菜文件，它定义了芹菜应用程序：

from celery import Celery
from app.worker import celery_config

celery_app = Celery()
celery_app.config_from_object(celery_config)

Answer 1

最后，将后端更改为rpc解决了问题。我用redis尝试了不同的方法，但都不起作用。挖掘的一种方法是使用tcp转储检查套接字，以查看其阻塞的位置，但我没有尝试，因为我的问题是通过rpc后端解决的。

Answer 2

我猜您的Redis实例和工作人员之间有一些防火墙。您可以登录到那个SandboxHost...并确保您可以连接您的redis吗？

您可以使用telnet执行此操作，例如：

telnet <your_redis_hostname> <your_redis_port>

或者使用 redis-cli：

redis-cli -h <your_redis_hostname> -p <your_redis_port>

编辑：

看来你错过了result_backend：

result_backend = f"redis://username:{result_backend_pass}@{result_backend_host}:6379/0"

并确保您的REDIS_HOST=${主机名？变量未设置} 是否有效...

编辑2：

可以在Redis命令中添加< code>bind吗:

["redis-server", "--bind", "0.0.0.0", "--requirepass", "${RABBITMQ_DEFAULT_PASS:-password}"]

请注意其安全影响！