Python的Flask框架应用调用Redis队列数据的方法
任务异步化
打开浏览器，输入地址，按下回车，打开了页面。于是一个HTTP请求（request）就由客户端发送到服务器，服务器处理请求，返回响应（response）内容。
我们每天都在浏览网页，发送大大小小的请求给服务器。有时候，服务器接到了请求，会发现他也需要给另外的服务器发送请求，或者服务器也需要做另外一些事情，于是最初们发送的请求就被阻塞了，也就是要等待服务器完成其他的事情。
更多的时候，服务器做的额外事情，并不需要客户端等待，这时候就可以把这些额外的事情异步去做。从事异步任务的工具有很多。主要原理还是处理通知消息，针对通知消息通常采取是队列结构。生产和消费消息进行通信和业务实现。
生产消费与队列
上述异步任务的实现，可以抽象为生产者消费模型。如同一个餐馆，厨师在做饭，吃货在吃饭。如果厨师做了很多，暂时卖不完，厨师就会休息；如果客户很多，厨师马不停蹄的忙碌，客户则需要慢慢等待。实现生产者和消费者的方式用很多，下面使用Python标准库Queue写个小例子：
importrandom
importtime
fromQueueimportQueue
fromthreadingimportThread
queue=Queue(10)
classProducer(Thread):
defrun(self):
whileTrue:
elem=random.randrange(9)
queue.put(elem)
print"厨师{}做了{}饭---还剩{}饭没卖完".format(self.name,elem,queue.qsize())
time.sleep(random.random())
classConsumer(Thread):
defrun(self):
whileTrue:
elem=queue.get()
print"吃货{}吃了{}饭---还有{}饭可以吃".format(self.name,elem,queue.qsize())
time.sleep(random.random())
defmain():
foriinrange(3):
p=Producer()
p.start()
foriinrange(2):
c=Consumer()
c.start()
if__name__=='__main__':
main()
大概输出如下：
厨师Thread-1做了1饭---还剩1饭没卖完 厨师Thread-2做了8饭---还剩2饭没卖完 厨师Thread-3做了3饭---还剩3饭没卖完 吃货Thread-4吃了1饭---还有2饭可以吃 吃货Thread-5吃了8饭---还有1饭可以吃 吃货Thread-4吃了3饭---还有0饭可以吃 厨师Thread-1做了0饭---还剩1饭没卖完 厨师Thread-2做了0饭---还剩2饭没卖完 厨师Thread-1做了1饭---还剩3饭没卖完 厨师Thread-1做了1饭---还剩4饭没卖完 吃货Thread-4吃了0饭---还有3饭可以吃 厨师Thread-3做了3饭---还剩4饭没卖完 吃货Thread-5吃了0饭---还有3饭可以吃 吃货Thread-5吃了1饭---还有2饭可以吃 厨师Thread-2做了8饭---还剩3饭没卖完 厨师Thread-2做了8饭---还剩4饭没卖完
Redis队列
Python内置了一个好用的队列结构。我们也可以是用redis实现类似的操作。并做一个简单的异步任务。
Redis提供了两种方式来作消息队列。一个是使用生产者消费模式模式，另外一个方法就是发布订阅者模式。前者会让一个或者多个客户端监听消息队列，一旦消息到达，消费者马上消费，谁先抢到算谁的，如果队列里没有消息，则消费者继续监听。后者也是一个或多个客户端订阅消息频道，只要发布者发布消息，所有订阅者都能收到消息，订阅者都是ping的。
生产消费模式
主要使用了redis提供的blpop获取队列数据，如果队列没有数据则阻塞等待，也就是监听。
importredis classTask(object): def__init__(self): self.rcon=redis.StrictRedis(host='localhost',db=5) self.queue='task:prodcons:queue' deflisten_task(self): whileTrue: task=self.rcon.blpop(self.queue,0)[1] print"Taskget",task if__name__=='__main__': print'listentaskqueue' Task().listen_task()
发布订阅模式
使用redis的pubsub功能，订阅者订阅频道，发布者发布消息到频道了，频道就是一个消息队列。
importredis
classTask(object):
def__init__(self):
self.rcon=redis.StrictRedis(host='localhost',db=5)
self.ps=self.rcon.pubsub()
self.ps.subscribe('task:pubsub:channel')
deflisten_task(self):
foriinself.ps.listen():
ifi['type']=='message':
print"Taskget",i['data']
if__name__=='__main__':
print'listentaskchannel'
Task().listen_task()
Flask入口
我们分别实现了两种异步任务的后端服务，直接启动他们，就能监听redis队列或频道的消息了。简单的测试如下：
importredis
importrandom
importlogging
fromflaskimportFlask,redirect
app=Flask(__name__)
rcon=redis.StrictRedis(host='localhost',db=5)
prodcons_queue='task:prodcons:queue'
pubsub_channel='task:pubsub:channel'
@app.route('/')
defindex():
html="""
<br>
<center><h3>RedisMessageQueue</h3>
<br>
<ahref="/prodcons">生产消费者模式</a>
<br>
<br>
<ahref="/pubsub">发布订阅者模式</a>
</center>
"""
returnhtml
@app.route('/prodcons')
defprodcons():
elem=random.randrange(10)
rcon.lpush(prodcons_queue,elem)
logging.info("lpush{}--{}".format(prodcons_queue,elem))
returnredirect('/')
@app.route('/pubsub')
defpubsub():
ps=rcon.pubsub()
ps.subscribe(pubsub_channel)
elem=random.randrange(10)
rcon.publish(pubsub_channel,elem)
returnredirect('/')
if__name__=='__main__':
app.run(debug=True)
启动脚本，使用
siege-c10-r5http://127.0.0.1:5000/prodcons siege-c10-r5http://127.0.0.1:5000/pubsub
可以分别在监听的脚本输入中看到异步消息。在异步的任务中，可以执行一些耗时间的操作，当然目前这些做法并不知道异步的执行结果，如果需要知道异步的执行结果，可以考虑设计协程任务或者使用一些工具如RQ或者celery等。