好资源导航 » 文章资讯 » Python网络爬虫神器PyQuery的基本使用教程

Python网络爬虫神器PyQuery的基本使用教程

2023-09-16 21:16:05 54

前言

pyquery库是jQuery的Python实现，能够以jQuery的语法来操作解析HTML文档，易用性和解析速度都很好，和它差不多的还有BeautifulSoup，都是用来解析的。相比BeautifulSoup完美翔实的文档，虽然PyQuery库的文档弱爆了，但是使用起来还是可以的，有些地方用起来很方便简洁。

安装

关于PyQuery的安装可以参考这篇文章：https://www.nhooo.com/article/82955.htm

PyQuery库官方文档

初始化为PyQuery对象
常用的CCS选择器
伪类选择器
查找标签
获取标签信息

初始化为PyQuery对象

html="""


简单好用的
PyQuery



Python
大法
好



"""

相当于BeautifulSoup库的初识化方法，将html转化为BeautifulSoup对象。

bsObj=BeautifulSoup(html,'html.parser')

PyQuery库也要有自己的初始化。

1.1将字符串初始化

frompyqueryimportPyQueryaspq
#初始化为PyQuery对象
doc=pq(html)
print(type(doc))
print(doc)





PyQuery学习

1.2将html文件初始化

#filename参数为html文件路径
test_html=pq(filename='test.html')
print(type(test_html))
print(test_html)



PyQuery学习

1.3对网址响应进行初始化

response=pq(url='https://www.baidu.com')
print(type(response))
print(response)



ç�¾åº¦ä¸�ä¸�ï¼�ä½å°±ç�¥é��

æ�°é�»hao123å�°å�¾è§�é¢�è´´å�§æ�´å¤�äº§å��

å ³äº�ç�¾åº¦AboutBaidu

二、常用的CCS选择器

打印id为container的标签

print(doc('#container'))
print(type(doc('#container')))

打印class为object-1的标签

print(doc('.object-1'))

打印标签名为body的标签

print(doc('body'))

多种css选择器使用

print(doc('html#container'))

三、伪类选择器

伪类nth

print(pseudo_doc('li:nth-child(2)'))
#打印第一个li标签
print(pseudo_doc('li:first-child'))
#打印最后一个标签
print(pseudo_doc('li:last-child'))

大法
Python
好玩

contains

#找到含有Python的li标签
print(pseudo_doc("li:contains('Python')"))
#找到含有好的li标签
print(pseudo_doc("li:contains('好')"))

Python
好
好
好玩

四、查找标签

按照条件在Pyquery对象中查找符合条件的标签，类似于BeautifulSoup中的find方法。

打印id=container的标签

print(doc.find('#container'))






print(doc.find('li'))

4.2子辈标签-children方法

#id=container的标签的子辈标签
container=doc.find('#container')
print(container.children())

4.3父辈标签-parent方法

object_2=doc.find('.object-2')
print(object_2.parent())

4.4兄弟标签-siblings方法

object_2=doc.find('.object-2')
print(object_2.siblings())

五、获取标签的信息

定位到目标标签后，我们需要标签内部的文本或者属性值，这时候需要进行提取文本或属性值操作

5.1标签属性值的提取

.attr()传入标签的属性名，返回属性值

object_2=doc.find('.object-2')
print(object_2.attr('class'))

object-2

5.2标签内的文本

.text()

html_text="""


简单好用的
PyQuery



HelloWorld！
Python
大法
好



"""
docs=pq(html_text)
print(docs.text())

简单好用的PyQueryHelloWorld！Python大法好

object_1=docs.find('.object-1')
print(object_1.text())
container=docs.find('#container')
print(container.text())

Python

HelloWorld！Python大法好

tips:如果我只想获得HelloWorld这个，不想得到其他的文本，可以使用remove方法将li标签去掉，然后再使用text方法

container=docs.find('#container')
container.remove('li')
print(container.text())

HelloWorld！

pyquery一些自定义的用法

访问网址

PyQuery与BeautifulSoup对比，我们会发现PyQuery可以对网址发起请求。比如

frompyqueryimportPyQuery
PyQuery(url='https://www.baidu.com')

opener参数

这是PyQuery对百度网址进行请求，并将请求返回的响应数据处理为PyQuery对象。一般pyquery库会默认调用urllib库，如果想使用selenium或者requests库，可以自定义PyQuery的opener参数。

opener参数作用是告诉pyquery用什么请求库对网址发起请求。常见的请求库如urllib、requests、selenium。这里我们自定义一个selenium的opener。

frompyqueryimportPyQuery
fromselenium.webdriverimportPhantomJS
#用selenium访问url
defselenium_opener(url):
#我没有将Phantomjs放到环境变量，所以每次用都要放上路径
driver=PhantomJS(executable_path='phantomjs的路径')
driver.get(url)
html=driver.page_source
driver.quit()
returnhtml
#注意，使用时opener参数是函数名，没有括号的！
PyQuery(url='https://www.baidu.com/',opener=selenium_opener)

这时候我们就能对PyQuery对象进行操作，提取有用的信息。具体请看上次的分享，如果想了解更多的功能，pyquery文档写的不怎么详细，好在基本跟jQuery功能吻合，我们如果想用好pyquery，需要查看jQuery文档。

cookies、headers

在requests用法中，一般为了访问网址更加真实，模仿成浏览器。一般我们需要传入headers，必要的时候还需要传入cookies参数。而pyquery库就有这功能，也能伪装浏览器。

frompyqueryimportPyQuery
cookies={'Cookie':'你的cookie'}
headers={'User-Agent':'Mozilla/5.0(Macintosh;IntelMacOSX10_12_5)AppleWebKit/537.36(KHTML,likeGecko)Chrome/61.0.3163.100Safari/537.36'}
PyQuery(url='https://www.baidu.com/',headers=headers,cookies=cookies)

让你的selenium带上pyquery功能

让driver访问的网址得到的网页直接变为PyQuery对象，更方便提取数据

frompyqueryimportPyQuery
fromselenium.webdriverimportPhantomJS
classBrowser(PhantomJS):
@property
defdom(self):
returnPyQuery(self.page_source)"""
这部分property是装饰器，需要知道@property下面紧跟的函数，实现了类的属性功能。
这里browser.dom，就是browser的dom属性。
"""
browser=Browser(executable_path='phantomjs的路径')
browser.get(url='https://www.baidu.com/')
print(type(browser.dom))

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对毛票票的支持。

返回顶部
514930285
czq8825@qq.com

Python网络爬虫神器PyQuery的基本使用教程

热门推荐

随机推荐