Python xpath表达式如何实现数据处理

2023-07-23 03:22:03 78

xpath表达式

1.xpath语法



HarryPotter
999


LearningXML
888

1.1选取节点

XPath使用路径表达式来选取XML文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。

使用chrome插件选择标签时候，选中时，选中的标签会添加属性class="xh-highlight"

下面列出了最有用的表达式：

表达式	描述
nodename	选中该元素。
/	从根节点选取、或者是元素和元素间的过渡。
//	从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。
.	选取当前节点。
..	选取当前节点的父节点。
@	选取属性。
text()	选取文本。

实例

路径表达式	结果
bookstore	选择bookstore元素。
/bookstore	选取根元素bookstore。注释：假如路径起始于正斜杠(/)，则此路径始终代表到某元素的绝对路径！
bookstore/book	选取属于bookstore的子元素的所有book元素。
//book	选取所有book子元素，而不管它们在文档中的位置。
bookstore//book	选择属于bookstore元素的后代的所有book元素，而不管它们位于bookstore之下的什么位置。
//book/title/@lang	选择所有的book下面的title中的lang属性的值。
//book/title/text()	选择所有的book下面的title的文本。

选择所有的h1下的文本
//h1/text()
获取所有的a标签的href
//a/@href
获取html下的head下的title的文本
/html/head/title/text()
获取html下的head下的link标签的href
/html/head/link/@href

1.2查找特定的节点

路径表达式	结果
//title[@lang="eng"]	选择lang属性值为eng的所有title元素
/bookstore/book[1]	选取属于bookstore子元素的第一个book元素。
/bookstore/book[last()]	选取属于bookstore子元素的最后一个book元素。
/bookstore/book[last()-1]	选取属于bookstore子元素的倒数第二个book元素。
/bookstore/book[position()>1]	选择bookstore下面的book元素，从第二个开始选择
//book/title[text()='HarryPotter']	选择所有book下的title元素，仅仅选择文本为HarryPotter的title元素
/bookstore/book[price>35.00]/title	选取bookstore元素中的book元素的所有title元素，且其中的price元素的值须大于35.00。

注意点:在xpath中，第一个元素的位置是1，最后一个元素的位置是last(),倒数第二个是last()-1

1.3选取未知节点

XPath通配符可用来选取未知的XML元素。

通配符	描述
*	匹配任何元素节点。
@*	匹配任何属性节点。
node()	匹配任何类型的节点。

实例

在下面的表格中，我们列出了一些路径表达式，以及这些表达式的结果：

路径表达式	结果
/bookstore/*	选取bookstore元素的所有子元素。
//*	选取文档中的所有元素。
//title[@*]	选取所有带有属性的title元素。

1.4选取若干路径

通过在路径表达式中使用“|”运算符，您可以选取若干个路径。

实例

在下面的表格中，我们列出了一些路径表达式，以及这些表达式的结果：

路径表达式	结果
//book/title\|//book/price	选取book元素的所有title和price元素。
//title\|//price	选取文档中的所有title和price元素。
/bookstore/book/title\|//price	选取属于bookstore元素的book元素的所有title元素，以及文档中所有的price元素。

实例：

fromlxmlimportetree
text='''
firstitem
seconditem
thirditem
fourthitem
fifthitem
'''

html=etree.HTML(text)

#获取href的列表和title的列表
href_list=html.xpath("//li[@class='item-1']/a/@href")
title_list=html.xpath("//li[@class='item-1']/a/text()")


#组装成字典
forhrefinhref_list:
item={}
item["href"]=href
item["title"]=title_list[href_list.index(href)]
print(item)

#如果取到的是一个节点，返回的是element对象，可以继续使用xpath方法，对此我们可以在后面的数据提取过程中：先根据某个标签进行分组，分组之后再进行数据的提取
li_list=html.xpath("//li[@class='item-1']")

#在每一组中继续进行数据的提取
forliinli_list:
item={}
item["href"]=li.xpath("./a/@href")[0]iflen(li.xpath("./a/@href"))>0elseNone
item["title"]=li.xpath("./a/text()")[0]iflen(li.xpath("./a/text()"))>0elseNone
print(item)

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持毛票票。

Python xpath表达式如何实现数据处理

热门推荐

随机推荐