Python多进程编程技术实例分析
本文以实例形式分析了Python多进程编程技术，有助于进一步Python程序设计技巧。分享给大家供大家参考。具体分析如下：
一般来说，由于Python的线程有些限制，例如多线程不能充分利用多核CPU等问题，因此在Python中我们更倾向使用多进程。但在做不阻塞的异步UI等场景，我们也会使用多线程。本篇文章主要探讨Python多进程的问题。
Python在2.6引入了多进程的机制，并提供了丰富的组件及api以方便编写并发应用。multiprocessing包的组件Process,Queue,Pipe,Lock等组件提供了与多线程类似的功能。使用这些组件，可以方便地编写多进程并发程序。
Process
Process的使用有点像java.lang.Thread，但Thread是线程。start方法用以启动某个进程。一个简单的示例：
frommultiprocessingimportProcess
importos
importtime
defsleeper(name,seconds):
print"ProcessID#%s"%(os.getpid())
print"ParentProcessID#%s"%(os.getppid())
print"%swillsleepfor%sseconds"%(name,seconds)
time.sleep(seconds)
if__name__=="__main__":
child_proc=Process(target=sleeper,args=('bob',5))
child_proc.start()
print"inparentprocessafterchildprocessstart"
print"parentprocessabounttojoinchildprocess"
child_proc.join()
print"inparentprocessafterchildprocessjoin"
print"theparent'sparentprocess:%s"%(os.getppid())
实例化一个Process必须要指定target和args。target是新的进程的入口方法，可以认为是main方法。args是该方法的参数列表。启动进程类似于启动Thread，必须要调用start方法。也可以继承Process，覆盖run方法，在run方法中实现该进程的逻辑。调用join方法会阻塞当前调用进程，直到被调用进程运行结束。
手工终止一个进程可以调用terminate方法，在UNIX系统中，该方法会发送SIGTERM信号量，而在windows系统中，会借助TerminateProcess方法。需要注意的是，exit处理逻辑并不会被执行，该进程的子进程不会被终止，他们只会变成孤儿进程。
Queue
Queue是多进程安全的队列，可以使用Queue实现多进程之间的数据传递。put方法用以插入数据到队列中，put方法还有两个可选参数：blocked和timeout。如果blocked为True（默认值），并且timeout为正值，该方法会阻塞timeout指定的时间，直到该队列有剩余的空间。如果超时，会抛出Queue.Full异常。如果blocked为False，但该Queue已满，会立即抛出Queue.Full异常。
get方法可以从队列读取并且删除一个元素。同样，get方法有两个可选参数：blocked和timeout。如果blocked为True（默认值），并且timeout为正值，那么在等待时间内没有取到任何元素，会抛出Queue.Empty异常。如果blocked为False，有两种情况存在，如果Queue有一个值可用，则立即返回该值，否则，如果队列为空，则立即抛出Queue.Empty异常。Queue的一段示例代码：
frommultiprocessingimportProcess,Queue
defoffer(queue):
queue.put("HelloWorld")
deftest(queue,num):
queue.put("HelloWorld:"+str(num))
if__name__=='__main__':
q=Queue()
p1=Process(target=test,args=(q,1))
p1.start()
p=Process(target=offer,args=(q,))
p.start()
p2=Process(target=test,args=(q,2))
p2.start()
p2=Process(target=test,args=(q,3))
p2.start()
printq.get()
printq.get()
printq.get()
printq.get()
printq.close()
输出：
HelloWorld:1
HelloWorld
HelloWorld:2
None
Pipes
Pipe方法返回(conn1,conn2)代表一个管道的两个端。Pipe方法有duplex参数，如果duplex参数为True(默认值)，那么这个管道是全双工模式，也就是说conn1和conn2均可收发。duplex为False，conn1只负责接受消息，conn2只负责发送消息。
send和recv方法分别是发送和接受消息的方法。例如，在全双工模式下，可以调用conn1.send发送消息，conn1.recv接收消息。如果没有消息可接收，recv方法会一直阻塞。如果管道已经被关闭，那么recv方法会抛出EOFError。
frommultiprocessingimportProcess,Pipe
defsend(conn):
conn.send("HelloWorld")
conn.close()
if__name__=='__main__':
parent_conn,child_conn=Pipe()
p=Process(target=send,args=(child_conn,))
p.start()
printparent_conn.recv()
同步
multiprocessing包提供了Condition,Event,Lock,RLock,Semaphore等组件可用于同步。下面是使用Lock的一个示例：
frommultiprocessingimportProcess,Lock defl(lock,num): lock.acquire() print"HelloNum:%s"%(num) lock.release() if__name__=='__main__': lock=Lock() fornuminrange(20): Process(target=l,args=(lock,num)).start()
总结
以上是Pythonmultiprocessing库的简单介绍和实例，熟悉Java多线程开发的同学是不是觉得很熟悉，和java的ConcurrencyAPI很像，不过javaConcurrency是处理多线程的而已，我们可以直接按照以前Java多线程的经验用这些API。
感兴趣的朋友可以测试运行本文实例以加深理解。相信本文所述对大家Python程序设计的学习有一定的借鉴价值。