Python3实现爬取指定百度贴吧页面并保存页面数据生成本地文档的方法
分享给大家供大家参考，具体如下：Python3实现爬取指定百度贴吧页面并保存页面数据生成本地文档的方法。分享给大家供大家参考，具体如下：
首先我们创建一个python文件,tieba.py，我们要完成的是，输入指定百度贴吧名字与指定页面范围之后爬取页面html代码，我们首先观察贴吧url的规律，比如：
百度贴吧LOL吧第一页：http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=0
第二页：http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=50
第三页：http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=100
发现规律了吧，贴吧中每个页面不同之处，就是url最后的pn的值，其余的都是一样的，我们可以抓住这个规律（kw表示贴吧名，采用url编码）。
清楚了url规则，我们便可以利用urllib进行批量式数据爬取，代码如下：
#-*-coding:utf-8-*-
fromurllibimportrequestasurllib2
fromurllibimportparse
importrandom
defloadPage(url,page):
'''
根据url获取服务器响应文件
url:需要爬取的url
'''
print('---------正在下载页面%d-------'%page)
ua_list=[
"Mozilla/5.0(Macintosh;IntelMacOSX10.6;rv2.0.1)Gecko/20100101Firefox/4.0.1",
"Mozilla/5.0(WindowsNT6.1;rv2.0.1)Gecko/20100101Firefox/4.0.1",
"Opera/9.80(Macintosh;IntelMacOSX10.6.8;U;en)Presto/2.8.131Version/11.11",
"Opera/9.80(WindowsNT6.1;U;en)Presto/2.8.131Version/11.11",
"Mozilla/5.0(Macintosh;IntelMacOSX10_7_0)AppleWebKit/535.11(KHTML,likeGecko)Chrome/17.0.963.56Safari/535.11"
]
header=random.choice(ua_list)
request=urllib2.Request(url)
request.add_header('User-Agent',header)
response=urllib2.urlopen(request)
html=response.read()
returnhtml
defwrite(html,page):
'''
将html文件写入本地
:paramhtml:服务器响应文件内容
:return:
'''
data=html
file_name='tieba{}.txt'.format(page)
print('---------正在保存文件%s-------'%file_name)
#运用withopenas语句使代码更加简洁避免写异常处理和文件关闭语句
withopen(file_name,'w',encoding='utf-8')asfile:
file.write(data.decode())
print('---------success!---------')
deftiebaSpider(url,kw,begin,end):
'''
爬取贴吧信息
'''
words={
'kw':kw
}
kw=parse.urlencode(words)
url=url%(kw)
forpageinrange(begin,end+1):
pn=((page-1)*50)
ful_url=url+str(pn)
html=loadPage(url,page)
write(html,page)
if__name__=='__main__':
kw=input('请输入爬取贴吧名:')
beginPage=int(input('请输入起始页:'))
endPage=int(input('请输入结束页:'))
url=r'http://tieba.baidu.com/f?%s&pn='
tiebaSpider(url,kw,beginPage,endPage)
控制台结果如下：
请输入爬取贴吧名:河南
请输入起始页:1
请输入结束页:3
---------正在下载页面1-------
---------正在保存文件tieba1.txt-------
---------success!---------
---------正在下载页面2-------
---------正在保存文件tieba2.txt-------
---------success!---------
---------正在下载页面3-------
---------正在保存文件tieba3.txt-------
---------success!---------
Processfinishedwithexitcode0
更多关于Python相关内容可查看本站专题：《PythonSocket编程技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》
希望本文所述对大家Python程序设计有所帮助。
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。