Python爬虫实现网页信息抓取功能示例【URL与正则模块】

2024-02-23 14:07:03 51

本文实例讲述了Python爬虫实现网页信息抓取功能。分享给大家供大家参考，具体如下：

首先实现关于网页解析、读取等操作我们要用到以下几个模块

importurllib
importurllib2
importre

我们可以尝试一下用readline方法读某个网站，比如说百度

deftest():
f=urllib.urlopen('http://www.baidu.com')
whileTrue:
firstLine=f.readline()
printfirstLine

下面我们说一下如何实现网页信息的抓取，比如说百度贴吧

我们大概要做几件事情：

首先获取网页及其代码，这里我们要实现多页，即其网址会改变，我们传递一个页数

defgetPage(self,pageNum):
try:
url=self.baseURL+self.seeLZ+'&pn='+str(pageNum)
#创建request对象
request=urllib2.Request(url)
response=urllib2.urlopen(request)
#print'URL:'+url
returnresponse.read()
exceptException,e:
printe

之后我们要获取小说内容，这里咱们分为标题和正文。标题每页都有，所以我们获取一次就好了。

我们可以点击某网站，按f12查看他的标题标签是如何构造的，比如说百度贴吧是…………</p> <p>那我们就匹配reg=re.compile(r'<title>(.*?)。')来抓取这个信息</p> <p>标题抓取完我们要开始抓去正文了，我们知道正文会有很多段，所以我们要循环的去抓取整个items，这里我们注意</p> <p>对于文本的读写操作，一定要放在循环外。同时加入一些去除超链接、<br>等机制</p> <p>最后，我们在主函数调用即可</p> <p>完整代码：</p> <pre> #-*-coding:utf-8-*- importsys reload(sys) sys.setdefaultencoding('utf8') #爬虫之网页信息抓取 #需要的函数方法：urllib,re,urllib2 importurllib importurllib2 importre #测试函数->读取 #deftest(): #f=urllib.urlopen('http://www.baidu.com') #whileTrue: #firstLine=f.readline() #printfirstLine #针对于百度贴吧获取前十页楼主小说文本内容 classBDTB: def__init__(self,baseUrl,seeLZ): #成员变量 self.baseURL=baseUrl self.seeLZ='?see_lz='+str(seeLZ) #获取该页帖子的代码 defgetPage(self,pageNum): try: url=self.baseURL+self.seeLZ+'&pn='+str(pageNum) #创建request对象 request=urllib2.Request(url) response=urllib2.urlopen(request) #print'URL:'+url returnresponse.read() exceptException,e: printe #匹配标题 defTitle(self): html=self.getPage(1) #compile提高正则匹配效率 reg=re.compile(r'<title>(.*?)。') #返回list列表 items=re.findall(reg,html) f=open('output.txt','w+') item=('').join(items) f.write('\t\t\t\t\t'+item.encode('gbk')) f.close() #匹配正文 defText(self,pageNum): html=self.getPage(pageNum) #compile提高正则匹配效率 reg=re.compile(r'"d_post_contentj_d_post_content">(.*?)</div>') #返回list列表 items=re.findall(reg,html) f=open('output.txt','a+') #[1:]切片，第一个元素不需要，去掉。 foriinitems[1:]: #超链接去除 removeAddr=re.compile('<a.*?>|</a>') #用""替换 i=re.sub(removeAddr,"",i) #<br>去除 i=i.replace('<br>','') f.write('\n\n'+i.encode('gbk')) f.close() #调用入口 baseURL='http://tieba.baidu.com/p/4638659116' bdtb=BDTB(baseURL,1) print'爬虫正在启动....'.encode('gbk') #多页 bdtb.Title() print'抓取标题完毕！'.encode('gbk') foriinrange(1,11): print'正在抓取第%02d页'.encode('gbk')%i bdtb.Text(i) print'抓取正文完毕!'.encode('gbk') </pre> <p><strong>PS：这里再为大家提供2款非常方便的正则表达式工具供大家参考使用：</strong></p> <p><strong>JavaScript正则表达式在线测试工具：<br/> </strong>http://tools.jb51.net/regex/javascript</p> <p><strong>正则表达式在线生成工具：<br/> </strong>http://tools.jb51.net/regex/create_reg</p> <p>更多关于Python相关内容可查看本站专题：《Python正则表达式用法总结》、《Python数据结构与算法教程》、《PythonSocket编程技巧总结》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》</p> <p>希望本文所述对大家Python程序设计有所帮助。</p></section> </div> </div>  <nav> <span class="meta-nav"><a href="/article/236588.html" title="AngularJS使用ng-class动态增减class样式的方法示例" se_prerender_url="complete">上一篇<br>AngularJS使用ng-class动态增减class样式的方法示例</a></span> <span class="meta-nav"><a href="/article/236586.html" title="Linux的wget命令详解" se_prerender_url="complete">下一篇<br>Linux的wget命令详解</a></span> <div class="clear"></div> </nav>  <div class="article-recommend"> <h3>热门推荐</h3> <div class="title"><span class="s-1">1</span> <a href="/article/10835.html" title="毛坯房验收经验和常识看了之后再验房心里有底">毛坯房验收经验和常识看了之后再验房心里有底</a></div> <div class="title"><span class="s-2">2</span> <a href="/article/10697.html" title="二手房收房如何交接二手房收房注意问题">二手房收房如何交接二手房收房注意问题</a></div> <div class="title"><span class="s-3">3</span> <a href="/article/10605.html" title="专业验收毛坯房的价格商品房验收合格的标准">专业验收毛坯房的价格商品房验收合格的标准</a></div> <div class="title"><span class="s-4">4</span> <a href="/article/10568.html" title="精装房怎么验收精装房请验房师有用吗">精装房怎么验收精装房请验房师有用吗</a></div> <div class="title"><span class="s-5">5</span> <a href="/article/10567.html" title="一般要到哪里找验房师验房师有哪些作用呢">一般要到哪里找验房师验房师有哪些作用呢</a></div> <div class="title"><span class="s-6">6</span> <a href="/article/10566.html" title="请人验房一般是多少钱验房师费用是多少">请人验房一般是多少钱验房师费用是多少</a></div> <div class="title"><span class="s-7">7</span> <a href="/article/10553.html" title="怎样测量房子面积建筑面积和使用面积怎么算">怎样测量房子面积建筑面积和使用面积怎么算</a></div> <div class="title"><span class="s-8">8</span> <a href="/article/10550.html" title="收房需要注意什么仔细检查不松懈">收房需要注意什么仔细检查不松懈</a></div> <div class="title"><span class="s-9">9</span> <a href="/article/10548.html" title="收房时三书一证一表是什么主要作用介绍">收房时三书一证一表是什么主要作用介绍</a></div> <div class="title"><span class="s-10">10</span> <a href="/article/10547.html" title="交房时交房税费有哪些本文为你一一讲解">交房时交房税费有哪些本文为你一一讲解</a></div> <div class="title"><span class="s-11">11</span> <a href="/article/10526.html" title="验房都需要验什么要做哪些准备呢">验房都需要验什么要做哪些准备呢</a></div> <div class="title"><span class="s-12">12</span> <a href="/article/10525.html" title="毛坯房验房师有必要请吗毛坯房装修完如何验收">毛坯房验房师有必要请吗毛坯房装修完如何验收</a></div> <div class="title"><span class="s-13">13</span> <a href="/article/7820.html" title="地下室防水工程质量验收规范详解">地下室防水工程质量验收规范详解</a></div> <div class="title"><span class="s-14">14</span> <a href="/article/4947.html" title="水性涂料、油性涂料区别介绍">水性涂料、油性涂料区别介绍</a></div> <div class="title"><span class="s-15">15</span> <a href="/article/4517.html" title="零基础布艺DIY工坊教你做超萌猫头鹰钥匙包">零基础布艺DIY工坊教你做超萌猫头鹰钥匙包</a></div> <div class="title"><span class="s-16">16</span> <a href="/article/4438.html" title="三棵树漆怎么样？三棵树漆官方网站">三棵树漆怎么样？三棵树漆官方网站</a></div> <div class="title"><span class="s-17">17</span> <a href="/article/4258.html" title="家庭“装修套餐”中猫腻你知道吗？">家庭“装修套餐”中猫腻你知道吗？</a></div> <div class="title"><span class="s-18">18</span> <a href="/article/4051.html" title="小空间大浴望卫浴间装修巧支招">小空间大浴望卫浴间装修巧支招</a></div> </div> <div class="add-gg">  <ins class="adsbygoogle" style="display:block" data-ad-client="ca-pub-4387516810452807" data-ad-slot="9131157744" data-ad-format="auto" data-full-width-responsive="true"></ins> <script> (adsbygoogle = window.adsbygoogle || []).push({}); </script> </div> </div>  <div id="sidebar"> <li class="sidebar-box"> <h3 class="widget-title">随机推荐</h3> <ul> <li> <a href="/article/294666.html" title="使用Python开发windows GUI程序入门实例">使用Python开发windows GUI程序入门实例</a> </li> <li> <a href="/article/294668.html" title="MFC中动态创建控件以及事件响应实现方法">MFC中动态创建控件以及事件响应实现方法</a> </li> <li> <a href="/article/294669.html" title="Shell脚本获取本地网卡IP、mac地址、子网掩码、dns IP、外网IP">Shell脚本获取本地网卡IP、mac地址、子网掩码、dns IP、外网IP</a> </li> <li> <a href="/article/294671.html" title="c++ String去除头尾空格的方法">c++ String去除头尾空格的方法</a> </li> <li> <a href="/article/294672.html" title="Python中使用scapy模拟数据包实现arp攻击、dns放大攻击例子">Python中使用scapy模拟数据包实现arp攻击、dns放大攻击例子</a> </li> <li> <a href="/article/294675.html" title="深入分析JQuery和JavaScript的异同">深入分析JQuery和JavaScript的异同</a> </li> <li> <a href="/article/294678.html" title="form.submit()不能提交表单的原因分析">form.submit()不能提交表单的原因分析</a> </li> <li> <a href="/article/294679.html" title="Shell脚本实现自动修改IP地址">Shell脚本实现自动修改IP地址</a> </li> <li> <a href="/article/294681.html" title="PHP中怎样防止SQL注入分析">PHP中怎样防止SQL注入分析</a> </li> <li> <a href="/article/294682.html" title="Python使用淘宝API查询IP归属地功能分享">Python使用淘宝API查询IP归属地功能分享</a> </li> <li> <a href="/article/294683.html" title="探寻python多线程ctrl+c退出问题解决方案">探寻python多线程ctrl+c退出问题解决方案</a> </li> <li> <a href="/article/294684.html" title="原生js和jQuery随意改变div属性style的名称和值">原生js和jQuery随意改变div属性style的名称和值</a> </li> <li> <a href="/article/294686.html" title="用简洁的jQuery方法toggleClass实现隔行换色">用简洁的jQuery方法toggleClass实现隔行换色</a> </li> <li> <a href="/article/294688.html" title="asp.net mvc下拉框Html.DropDownList 和DropDownListFor的常用方法">asp.net mvc下拉框Html.DropDownList 和DropDownListFor的常用方法</a> </li> <li> <a href="/article/294690.html" title="jquery实现导航固定顶部的效果仿蘑菇街">jquery实现导航固定顶部的效果仿蘑菇街</a> </li> <li> <a href="/article/294691.html" title="ASP.NET MVC中为DropDownListFor设置选中项的方法">ASP.NET MVC中为DropDownListFor设置选中项的方法</a> </li> </ul> </li> <li class="sidebar-box">  <ins class="adsbygoogle" style="display:block" data-ad-client="ca-pub-4387516810452807" data-ad-slot="8604338277" data-ad-format="auto" data-full-width-responsive="true"></ins> <script> (adsbygoogle = window.adsbygoogle || []).push({}); </script> </li> </div> </div> </div> <ul class="suspend"> <li class="back-top" onclick="backTop()"> <i class="fa fa-chevron-up"></i> <span class="more">返回顶部</span> </li> <li> <a href="http://wpa.qq.com/msgrd?v=3&uin=514930285&site=qq&menu=yes"> <i class="fa fa-qq"></i> <span class="more">514930285</span> </a> </li> <li> <a href="mailto:czq8825@qq.com"> <i class="fa fa-envelope"></i> <span class="more">czq8825@qq.com</span> </a> </li>  </ul> <footer class="footer clearfix"> <p>免责声明：网站资源来源于网络，如有侵权，请及时联系删除。</p> <p>Copyright © 2024 <a href="/">好资源导航网</a>. All Rights Reserved.</p> <p> <a href="https://beian.miit.gov.cn">蜀ICP备2021004611号-4</a> <a href="/sitemap.html">网站地图</a> <script charset="UTF-8" id="LA_COLLECT" src="//sdk.51.la/js-sdk-pro.min.js"></script> <script>LA.init({id:"KRBIHUupjRSBtYXu",ck:"KRBIHUupjRSBtYXu"})</script> <script> var _hmt = _hmt || []; (function() { var hm = document.createElement("script"); hm.src = "https://hm.baidu.com/hm.js?78e2f1027b3a17750580941ea594d61e"; var s = document.getElementsByTagName("script")[0]; s.parentNode.insertBefore(hm, s); })(); </script> </p> </footer> <script src="/Public/Home/js/main.js"></script> <script type="text/javascript" src="/Public/Home/js/z_stat.js"></script> </body> </html>