Python greenlet实现原理和使用示例
最近开始研究Python的并行开发技术，包括多线程，多进程，协程等。逐步整理了网上的一些资料，今天整理了一下greenlet相关的资料。
并发处理的技术背景
并行化处理目前很受重视，因为在很多时候，并行计算能大大的提高系统吞吐量，尤其在现在多核多处理器的时代，所以像lisp这种古老的语言又被人们重新拿了起来，函数式编程也越来越流行。介绍一个python的并行处理的一个库：greenlet。python有一个非常有名的库叫做stackless，用来做并发处理，主要是弄了个叫做tasklet的微线程的东西，而greenlet跟stackless的最大区别是，他很轻量级？不够，最大的区别是greenlet需要你自己来处理线程切换，就是说，你需要自己指定现在执行哪个greenlet再执行哪个greenlet。
greenlet的实现机制
以前使用python开发web程序,一直使用的是fastcgi模式.然后每个进程中启动多个线程来进行请求处理.这里有一个问题就是需要保证每个请求响应时间都要特别短,不然只要多请求几次慢的就会让服务器拒绝服务,因为没有线程能够响应请求了.平时我们的服务上线都会进行性能测试的,所以正常情况没有太大问题.但是不可能所有场景都测试到.一旦出现就会让用户等好久没有响应.部分不可用导致全部不可用.后来转换到了coroutine,python下的greenlet.所以对它的实现机制做了一个简单的了解.
每个greenlet都只是heap中的一个pythonobject(PyGreenlet).所以对于一个进程你创建百万甚至千万个greenlet都没有问题.
typedefstruct_greenlet{
PyObject_HEAD
char*stack_start;
char*stack_stop;
char*stack_copy;
intptr_tstack_saved;
struct_greenlet*stack_prev;
struct_greenlet*parent;
PyObject*run_info;
struct_frame*top_frame;
intrecursion_depth;
PyObject*weakreflist;
PyObject*exc_type;
PyObject*exc_value;
PyObject*exc_traceback;
PyObject*dict;
}PyGreenlet;
每一个greenlet其实就是一个函数,以及保存这个函数执行时的上下文.对于函数来说上下文也就是其stack..同一个进程的所有的greenlets共用一个共同的操作系统分配的用户栈.所以同一时刻只能有栈数据不冲突的greenlet使用这个全局的栈.greenlet是通过stack_stop,stack_start来保存其stack的栈底和栈顶的,如果出现将要执行的greenlet的stack_stop和目前栈中的greenlet重叠的情况,就要把这些重叠的greenlet的栈中数据临时保存到heap中.保存的位置通过stack_copy和stack_saved来记录,以便恢复的时候从heap中拷贝回栈中stack_stop和stack_start的位置.不然就会出现其栈数据会被破坏的情况.所以应用程序创建的这些greenlet就是通过不断的拷贝数据到heap中或者从heap中拷贝到栈中来实现并发的.对于io型的应用程序使用coroutine真的非常舒服.
下面是greenlet的一个简单的栈空间模型(fromgreenlet.c)
APyGreenletisarangeofCstackaddressesthatmustbe savedandrestoredinsuchawaythatthefullrangeofthe stackcontainsvaliddatawhenweswitchtoit.
Stacklayoutforagreenlet:
| ^^^ | | olderdata | | | stack_stop.|_______________| . | | . |greenletdata| . | instack | . *|_______________|.. _____________ stack_copy+stack_saved . | | | | . | data | |greenletdata| . | unrelated | | saved | . | to | | inheap | stack_start.| this |..|_____________|stack_copy | greenlet | | | | newerdata | | vvv |