1.1一个浅显的例子,说明三者的逻辑关系
1.2.核心的关系:进程,线程,协程都可以实现多任务模式
协程,又称微线程,英文名Coroutine,协同程序(同一个线程里任务切换协同执行)。如下,在同在一个线程中的某个函数,可以在任何地方保存当前函数的一些临时变量等信息,然后切换到另外一个函数中执行,注意不是通过调用函数的方式做到的,并且切换的次数以及什么时候再切换到原来的函数都由开发者自己确定。
import time
def work1():
while True:
print("----work1---")
yield
time.sleep(0.5)
def work2():
while True:
print("----work2---")
yield
time.sleep(0.5)
def main():
w1 = work1()
w2 = work2()
while True:
next(w1)
next(w2)
if __name__ == "__main__":
main()
'''
----work1---
----work2---
----work1---
----work2---
----work1---
....省略....
'''
可以使用python中的greenlet模块中greenlet实现协程工作,如果没安装先安装 库,这里是基于pycharm执行的
pip3 install greenlet #如果使用pycharm,则现在环境里安装该模块
from greenlet import greenlet
import time
def test1():
while True:
print "---A--"
gr2.switch()
time.sleep(0.5)
def test2():
while True:
print "---B--"
gr1.switch()
time.sleep(0.5)
gr1 = greenlet(test1)
gr2 = greenlet(test2)
#切换到gr1中运行
gr1.switch()
'''
---A--
---B--
---A--
---B--
---A--
---B--
---A--
---B--
'''
Gevent是一种基于协程的Python网络库,它用到Greenlet提供的,封装了libevent事件循环的高层同步API。它让开发者在不改变编程习惯的同时,用同步的方式写异步I/O的代码。
greenlet已经实现了协程,但是这个还的使用switch切换,python还有一个比greenlet更强大的并且能够自动切换任务的模块那就是gevent.其原理是当一个greenlet遇到IO(指的是input output 输入输出,比如网络、文件操作等)操作时,比如访问网络,就自动切换到其他的greenlet,等到IO操作完成,再在适当的时候切换回来继续执行。 由于IO操作非常耗时,经常使程序处于等待状态,有了gevent为我们自动切换协程,就保证总有greenlet在运行,而不是等待IO
import gevent
def f1(n):
for i in range(n):
print(gevent.getcurrent(), i)
def f2(n):
for i in range(n):
print(gevent.getcurrent(), i)
def f3(n):
for i in range(n):
print(gevent.getcurrent(), i)
print("开始执行 ------")
print("------f1 ------")
g1 = gevent.spawn(f1, 5) #创建一个协程任务,其实创建的是一个greenlet对象
print("------f2 ------")
g2 = gevent.spawn(f2, 5)
print("------f3 ------")
g3 = gevent.spawn(f3, 5)
g1.join() #join()启动等待g1执行完成
g2.join()
g3.join()
'''开始执行 ------
------f1 ------
------f2 ------
------f3 ------
<Greenlet at 0x23a40197a48: f1(5)> 0
<Greenlet at 0x23a40197a48: f1(5)> 1
<Greenlet at 0x23a40197a48: f1(5)> 2
<Greenlet at 0x23a40197a48: f1(5)> 3
<Greenlet at 0x23a40197a48: f1(5)> 4
<Greenlet at 0x23a40197e48: f2(5)> 0
<Greenlet at 0x23a40197e48: f2(5)> 1
<Greenlet at 0x23a40197e48: f2(5)> 2
<Greenlet at 0x23a40197e48: f2(5)> 3
<Greenlet at 0x23a40197e48: f2(5)> 4
<Greenlet at 0x23a40373048: f3(5)> 0
<Greenlet at 0x23a40373048: f3(5)> 1
<Greenlet at 0x23a40373048: f3(5)> 2
<Greenlet at 0x23a40373048: f3(5)> 3
<Greenlet at 0x23a40373048: f3(5)> 4'''
总结分析:上面3个greenlet是依次运行而不是交替运行,前面一个执行完,后面才开始执行的。
1.下面通过gevent.sleep()实现交替执行,当个g1处于sleep时,切换到g2或者g3执行。
import gevent ,time
def f1(n):
for i in range(n):
print(gevent.getcurrent(), i)
gevent.sleep(0.5)
def f2(n):
for i in range(n):
print(gevent.getcurrent(), i)
gevent.sleep(0.5)
def f3(n):
for i in range(n):
print(gevent.getcurrent(), i)
gevent.sleep(0.5) #用来模拟一个耗时操作,注意不是time模块中的sleep
print("开始执行 ------")
print("------f1 ------")
g1 = gevent.spawn(f1, 5) #创建一个协程任务,其实创建的是一个greenlet对象
print("------f2 ------")
g2 = gevent.spawn(f2, 5)
print("------f3 ------")
g3 = gevent.spawn(f3, 5)
g1.join() #join()等待g1执行完成
g2.join()
g3.join() #可以使用joinall([])替代
'''
开始执行 ------
------f1 ------
------f2 ------
------f3 ------
<Greenlet at 0x2226aa27a48: f1(5)> 0
<Greenlet at 0x2226aa27e48: f2(5)> 0
<Greenlet at 0x2226abf3048: f3(5)> 0
<Greenlet at 0x2226aa27a48: f1(5)> 1
<Greenlet at 0x2226aa27e48: f2(5)> 1
<Greenlet at 0x2226abf3048: f3(5)> 1
<Greenlet at 0x2226aa27a48: f1(5)> 2
<Greenlet at 0x2226aa27e48: f2(5)> 2
<Greenlet at 0x2226abf3048: f3(5)> 2
<Greenlet at 0x2226aa27a48: f1(5)> 3
<Greenlet at 0x2226aa27e48: f2(5)> 3
<Greenlet at 0x2226abf3048: f3(5)> 3
<Greenlet at 0x2226aa27a48: f1(5)> 4
<Greenlet at 0x2226aa27e48: f2(5)> 4
<Greenlet at 0x2226abf3048: f3(5)> 4
'''
2.当然,实际代码里,我们不会用gevent.sleep()
去切换协程,而是在执行到IO操作时,gevent自动切换,比如:
from gevent import monkey
import gevent
import random
import time
# 有耗时操作时需要,这里patch_all()相当于在gevent.sleep()
monkey.patch_all() # 将程序中用到的耗时操作的代码,换为gevent中自己实现的模块,实现协程切换
def ct_work(args):
for i in range(4):
print(args, i)
time.sleep(random.random())
gevent.joinall([ #替换了逐个join()操作。
gevent.spawn(ct_work, "work1"),
gevent.spawn(ct_work, "work2")
])
''''注意,如果不加patch_all()耗时操作,这里是顺序输出的。
work1 0
work2 0
work2 1
work1 1
work1 2
work2 2
work2 3
work1 3
'''
尖叫提示:
使用Gevent的性能确实要比用传统的线程高,甚至高很多。但这里不得不说它的一个坑:
统一声明:关于原创博客内容,可能会有部分内容参考自互联网,如有原创链接会声明引用;如找不到原创链接,在此声明如有侵权请联系删除哈。关于转载博客,如有原创链接会声明;如找不到原创链接,在此声明如有侵权请联系删除哈。