Meinheld 和 Gevent_XYM

 

XYM个人博客对应篇章

---

meinheld + gunicorn + flask 是神器啊，小小研究了一下。

【Coroutine】

Coroutine：协程，又称微线程，纤程。
协程的这种“挂起”和“唤醒”机制实质上是将一个过程切分成了若干个子过程，给了我们一种以扁平的方式来使用事件回调模型。优点：共享进程的上下文，一个进程可以创建百万，千万的coroutine。

python中的yield和第三方库greenlet，都可以实现协程。
greenlet 提供了在协程中直接切换控制权的方式，比生成器(yield)更加灵活、简洁。

【GIL】

1. 线程安全是在多线程的环境下，线程安全能够保证多个线程同时执行时程序依旧运行正确，而且要保证对于共享的数据，可以由多个线程存取，但是同一时刻只能有一个线程进行存取。每一个interpreter进程，只能同时仅有一个线程来执行，获得相关的锁，存取相关的资源。那么很容易就会发现，如果一个interpreter进程只能有一个线程来执行，多线程的并发则成为不可能，即使这几个线程之间不存在资源的竞争。
2. 所以虽然 CPython的线程库直接封装操作系统的原生线程，但CPython进程做为一个整体同一时间只会有一个获得了GIL的线程在跑，其它的线程都处于等待状态等着 GIL的释放。所以只能使用cpu单核。这也是python多线程被人诟病的原因。python的高并发更加推荐多进程+协程。

【io多路复用】

IO多路复用是指内核一旦发现进程指定的一个或者多个IO条件准备读取，它就通知该进程。
1. select（线程不安全）：它通过一个select()系统调用来监视多个文件描述符的数组，当select()返回后，该数组中就绪的文件描述符便会被内核修改标志位，使得进程可以获得这些文件描述符从而进行后续的读写操作。
2. poll（线程不安全）：它和select在本质上没有多大差别，但是poll没有最大文件描述符数量的限制
3. epoll（线程安全）：epoll可以同时支持水平触发和边缘触发（Edge Triggered，只告诉进程哪些文件描述符刚刚变为就绪状态，它只说一遍，如果我们没有采取行动，那么它将不会再次告知，这种方式称为边缘触发），理论上边缘触发的性能要更高一些，但是代码实现相当复杂。

【meinheld】

meinheld = greenlet + picoev（A tiny, lightning fast event loop for network applications）https://github.com/kazuho/picoev

【gevent】

gevent = greenlet + python.monkey（libevent）

【异步实现】

多进程 + coroutinue + callback（io多路复用做事件驱动）

【picoev和libevent】

meinheld和gevent都能实现异步，但是测评中meinheld比gevent的性能好很多，不过因为meinheld支持的比较少，一般都是配合gunicorn使用的。下面分析一下meinheld和gevent性能差距主要原因，分别使用的是picoev和lievent。

【libevent】

主要实现：使用堆（优先队列）作为timer事件的算法（nlogn）,IO和信号的实现均使用了双向队列（用链表实现）。

【picoev】

picoev：根据作者简介，主要优化有两点。
1. 主要是考虑是fd（file descriptors）在un*x中是用比较小的正整数表示的，那么把fd的相关信息，全部存储在一个array中，这样使得查找快速，在操作socket状态时会更加的快。
2. 第二点是对于timer事件的算法优化，通过环形缓冲区(128)和bit vector实现查看部分源码可以看出，主要实现是每个时间点对应的是缓冲区的一个位置，每个缓存区使用bit vector 表示fd的数值，相当于一种hash映射所以时间复杂度为(o(n))，n为那个缓存区所存的fd数量。

---------------------
作者：xymscau
来源：CSDN
原文：https://blog.csdn.net/xymscau/article/details/50490728
版权声明：本文为作者原创文章，转载请附上博文链接！
内容解析By：CSDN,CNBLOG博客文章一键转载插件