python中urllib模块用法实例详解
本文实例讲述了python中urllib模块用法。分享给大家供大家参考。具体分析如下：
一、问题：
近期公司项目的需求是根据客户提供的api，我们定时去获取数据，之前的方案是用php收集任务存入到redis队列，然后在linux下做一个常驻进程跑某一个php文件，该php文件就一个无限循环，判断redis队列，有就执行，没有就break.
二、解决方法：
最近刚好学了一下python,python的urllib模块或许比php的curl更快，而且简单.贴一下代码
#_*_coding:utf-8_*_
importsys
reload(sys)
sys.setdefaultencoding("utf-8")
importos
importjson
fromurllibimporturlopen
doc=urlopen("http://xxxx?webid=1&tid=901&cateid=101").read()
doc=json.loads(doc)
printdoc
printdoc.keys()
printdoc["msg"]
printdoc['data']
printdoc['ret']发现第一次访问所需要的时间为[Finishedin3.0s]
而第二次访问的时间为[Finishedin0.2s]
可见python的urllib模块是加有缓存的
urllib/2用法典型的例子
importurllib2 importcookielib importurllib
classHi_login: def__init__(self): cookie=cookielib.CookieJar() self.cookie=urllib2.HTTPCookieProcessor(cookie)#####生成cookie###
deflogin(self,user,pwd): url='http://passport.baidu.com/?login' postdata=urllib.urlencode({ 'mem_pass':'on', 'password':pwd 'Submit':'', 'tpl':'sp', 'tp_reg':'sp', 'u':'http://hi.baidu.com', 'username':user}) ###proxy_support=urllib2.ProxyHandler({"http":"http://ahad-haam:3128"})然后加入opener方法里#### opener=urllib2.build_opener(self.cookie)###使用cookie### headers={#######dict结构，可以加入x-forward-for甚至refer等####### 'User-Agent':'Mozilla/5.0(Windows;U;WindowsNT6.1;en-US;rv:1.9.1.6)Gecko/20091201Firefox/3.5.6'} urllib2.install_opener(opener) request=urllib2.Request(url,urllib.urlencode(postdata),headers=headers) urllib2.urlopen(request) if__name__=='__main__': pwd='123456' user='xiaofu' test=Hi_login() test.login(user,pwd)