Python Flask使用gevent或grpc.gevent模块实现异步非阻塞
目录
0. 前言：
Flask本身并不是一个异步框架，因此在处理高并发请求时会出现性能瓶颈。然而，Flask可以通过与其他异步框架和库的集成来提高并发性能。
所以下面会介绍gevent、gprc两种协程库，如何结合使用到Flask项目中，提高项目本身的并发性能。
文中我会写份简单的接口代码，通过ab（Apache bench）工具进行请求压测，观察两个模块对Flask项目性能提升的情况。
1. gevent.monkey介绍：
gevent是一个基于协程的Python网络编程库，它可以使编写异步代码变得更加简单和高效。在gevent中，通过greenlet和libev实现了高效的协程和事件循环机制。
monkey模块是gevent库中的一个重要模块，它可以动态地将标准库中的阻塞式I/O操作替换为gevent的非阻塞式I/O操作，从而使得原本同步阻塞的程序变为异步非阻塞的程序。通过使用monkey模块，我们可以在不修改原有代码的情况下，轻松地将程序变为基于协程的异步程序，提高程序的并发性能。
具体来说，monkey模块可以通过以下几个函数来实现对标准库中阻塞式I/O操作的替换：
- patch_all(): 用于自动将标准库中所有可以替换的阻塞式I/O操作替换为gevent的非阻塞式I/O操作。
- patch_socket(): 用于将socket模块中的阻塞式I/O操作替换为gevent的非阻塞式I/O操作。
- patch_select(): 用于将select模块中的阻塞式I/O操作替换为gevent的非阻塞式I/O操作。
- patch_time(): 用于将time模块中的阻塞式sleep操作替换为gevent的非阻塞式sleep操作。
需要注意，在使用monkey模块时，可能会出现一些副作用，例如会修改标准库的全局变量和函数，导致其他模块的行为不可预期。因此，在使用monkey模块时，应该仔细地阅读文档，并进行必要的测试和验证。
2. grpc.gevent介绍：
grpc.experimental.gevent是一个用于将gRPC的异步调用与gevent协程库结合使用的Python模块。它提供了一个基于gevent协程的gRPC异步调用实现，并且可以轻松地与其他基于gevent的网络编程库一起使用。
在使用grpc.experimental.gevent模块时，可以通过以下几个步骤来实现gevent和gRPC的结合使用：
- 创建一个gevent协程池，用于管理所有的gRPC异步调用。
- 使用grpc.experimental.gevent拦截器将所有的gRPC客户端调用转换为gevent协程。
- 在gevent协程池中运行所有的gRPC异步调用。
- 在协程中处理所有的gRPC响应。
使用grpc.experimental.gevent模块可以有效地提高gRPC应用的并发处理能力，并且可以使gRPC应用与其他基于gevent的网络编程库更加兼容。需要注意的是，在使用grpc.experimental.gevent模块时，应该仔细阅读文档，并进行必要的测试和验证，以确保程序的正确性和稳定性。
3. Flask Demo代码
通过time.sleep(2)休眠2秒来模拟阻塞的情况，然后我们开始分别测试下并发
import time
from flask import Flask
# 使用gevent的方法
# from gevent import monkey
# monkey.patch_all()
# 使用grpc的方法
# import grpc.experimental.gevent as grpc_gevent
# grpc_gevent.init_gevent()
app = Flask(__name__)
@app.route('/') #匹配路由
def hello():
# 模拟阻塞
time.sleep(2)
return "Hello World"
if __name__ == '__main__':
app.run(port=7779, threaded=True)4. 压测结果
命令 ab -c 100 -n 5000 http://127.0.0.1:7779/ 压测
| Flask+gevent | Flask+grpc_gevent | |
| 每秒请求数 | 49.77 | 49.83 |
| 测试所耗时间 | 100.455 | 100.334 |
5. 压测报告
# Flask + grpc_gevent
Server Software: Werkzeug/2.2.3
Server Hostname: 127.0.0.1
Server Port: 7779
Document Path: /
Document Length: 11 bytes
Concurrency Level: 100
Time taken for tests: 100.334 seconds
Complete requests: 5000
Failed requests: 0
Total transferred: 920000 bytes
HTML transferred: 55000 bytes
Requests per second: 49.83 [#/sec] (mean)
Time per request: 2006.675 [ms] (mean)
Time per request: 20.067 [ms] (mean, across all concurrent requests)
Transfer rate: 8.95 [Kbytes/sec] received
Connection Times (ms)
min mean[+/-sd] median max
Connect: 0 0 0.3 0 3
Processing: 2001 2005 9.3 2004 2101
Waiting: 2001 2005 9.2 2003 2101
Total: 2001 2005 9.5 2004 2102
Percentage of the requests served within a certain time (ms)
50% 2004
66% 2004
75% 2005
80% 2005
90% 2006
95% 2009
98% 2028
99% 2067
100% 2102 (longest request)
# Flask + gevent
Server Software: Werkzeug/2.2.3
Server Hostname: 127.0.0.1
Server Port: 7779
Document Path: /
Document Length: 11 bytes
Concurrency Level: 100
Time taken for tests: 100.455 seconds
Complete requests: 5000
Failed requests: 0
Total transferred: 920000 bytes
HTML transferred: 55000 bytes
Requests per second: 49.77 [#/sec] (mean)
Time per request: 2009.092 [ms] (mean)
Time per request: 20.091 [ms] (mean, across all concurrent requests)
Transfer rate: 8.94 [Kbytes/sec] received
Connection Times (ms)
min mean[+/-sd] median max
Connect: 0 0 0.3 0 3
Processing: 2001 2006 11.2 2002 2050
Waiting: 2001 2006 11.2 2002 2050
Total: 2001 2006 11.2 2002 2051
Percentage of the requests served within a certain time (ms)
50% 2002
66% 2003
75% 2003
80% 2003
90% 2024
95% 2038
98% 2046
99% 2048
100% 2051 (longest request)6. 结论
通过压测发现grpc_gevent对flask性能提升好像更好，可能因为我的代码里面只是用了sleep模拟阻塞，但是在真实项目中的I/O操作较为复杂，例如需要进行数据库查询、文件读写等操作，使用gevent可能会更加适合，因为它可以将这些I/O操作转换为非阻塞式，从而提高服务器的并发性能。
如果你的Flask项目使用了pymilvus，同时你用gevent实现异步非阻塞的话，会出现项目启动时卡住的情况，卡在milvus connection方法这里，这时你可以换成grpc_gevent，可以解决这个问题。