Python HTML解析模块HTMLParser用法分析【爬虫工具】
本文实例讲述了PythonHTML解析模块HTMLParser用法。分享给大家供大家参考,具体如下:
简介
先简略介绍一下。实际上,HTMLParser是python用来解析HTML的内置模块。它可以分析出HTML里面的标签、数据等等,是一种处理HTML的简便途径。HTMLParser采用的是一种事件驱动的模式,当HTMLParser找到一个特定的标记时,它会去调用一个用户定义的函数,以此来通知程序处理。它主要的用户回调函数的命名都是以"handle_"开头的,都是HTMLParser的成员函数。当我们使用时,就从HTMLParser派生出新的类,然后重新定义这几个以"handle_"开头的函数即可。这几个函数包括:
(1)handle_startendtag 处理开始标签和结束标签(即单标签)
(2)handle_starttag 处理开始标签,比如
(3)handle_endtag 处理结束标签,比如
(4)handle_charref 处理特殊字符串,就是以开头的,一般是内码表示的字符
(5)handle_entityref 处理一些特殊字符,以&开头的,比如
(6)handle_data 处理数据,就是
(7)handle_comment 处理注释
(8)handle_decl 处理
(9)handle_pi 处理形如的东西
实例
OK,废话少说,直接上手,来一个简单的爬虫实例——抓取贴吧图片。
fromhtml.parserimportHTMLParser fromurllibimportrequest classMyHTMLParser(HTMLParser):#创建HTML解析类 def__init__(self): HTMLParser.__init__(self) self.gifs_urls=[]#创建列表,保存gif self.jpgs_urls=[]#创建列表,保存jpg #重写HTMLParser中的内置方法 defhandle_starttag(self,tags,attrs):#处理起始标记 iftags=='img':#处理图片 forattrinattrs: fortinattr: if'gif'intand'https'int: self.gifs_urls.append(t)#添加到gif列表 elif'jpg'intand'https'int: self.jpgs_urls.append(t)#添加到jpg列表 else: pass #自定义的方法 defget_gifs(self):#返回gif列表 returnself.gifs_urls defget_jpgs(self):#返回jpg列表 returnself.jpgs_urls #自定义的方法,获取页面 defgetHTML(self,url): req=request.Request(url,method='GET') html=request.urlopen(req,timeout=30) returnhtml.read() #自定义的方法,批量下载图片 defdownImgs(self,img_urls,n=10,path='Image/'): count=1 forurlinimg_urls: request.urlretrieve(url=url,filename='{0}{1}{2}'.format(path,count,'.jpg')) count=count+1 ifcount==n+1: print('共下载%d张图片'%(n)) return if__name__=='__main__': Url='http://tieba.baidu.com/p/2256306796' HtmlParser=MyHTMLParser() Html=HtmlParser.getHTML(Url) #print(Html) HtmlParser.feed(str(Html))#开始解析HTML,自动调用HTMLParser中的内置方法 HtmlParser.downImgs(HtmlParser.get_jpgs())
更多关于Python相关内容可查看本站专题:《PythonSocket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》
希望本文所述对大家Python程序设计有所帮助。