Celery + Eventlet +非阻塞请求

Question

我requests在芹菜中使用Pythonworkers进行大量的（〜10 /
sec）API调用（包括GET，POST，PUT，DELETE）。每个请求大约需要5-10秒才能完成。

我尝试在eventlet池中运行芹菜工人，并发数为1000。

由于requests正在阻塞进程，每个并发连接都在等待一个请求。

如何使requests异步？

Answer 1

使用eventlet Monkey
patching使所有纯python库都无阻塞。

• 补丁单库

  # import requests  # instead do this:
  

  import eventlet
  requests = eventlet.import_patched(‘requests’)
  

软件包erequest和grequest可以简化为这两行。

• 修补一切

  import eventlet
  

  eventlet.monkey_patch() # must execute as early as possible
  …

  import requests, amqp, memcache, paramiko, redis

更新 ：猴子修补请求库存在已知问题。如果你得到：

ImportError: cannot import name utils

，然后将导入行修改为

requests = eventlet.import_patched('requests.__init__')