详细解读Python中解析XML数据的方法
Python可以使用xml.etree.ElementTree模块从简单的XML文档中提取数据。为了演示，假设你想解析PlanetPython上的RSS源。下面是相应的代码：
fromurllib.requestimporturlopen
fromxml.etree.ElementTreeimportparse
#DownloadtheRSSfeedandparseit
u=urlopen('http://planet.python.org/rss20.xml')
doc=parse(u)
#Extractandoutputtagsofinterest
foritemindoc.iterfind('channel/item'):
title=item.findtext('title')
date=item.findtext('pubDate')
link=item.findtext('link')
print(title)
print(date)
print(link)
print()
运行上面的代码，输出结果类似这样：
SteveHolden:PythonforDataAnalysis Mon,19Nov201202:13:51+0000 http://holdenweb.blogspot.com/2012/11/python-for-data-analysis.html VasudevRam:ThePythonDatamodel(forv2andv3) Sun,18Nov201222:06:47+0000 http://jugad2.blogspot.com/2012/11/the-python-data-model.html PythonDiary:BeenplayingaroundwithObjectDatabases Sun,18Nov201220:40:29+0000 http://www.pythondiary.com/blog/Nov.18,2012/been-...-object-databases.html VasudevRam:Wakari,ScientificPythoninthecloud Sun,18Nov201220:19:41+0000 http://jugad2.blogspot.com/2012/11/wakari-scientific-python-in-cloud.html JesseJiryuDavis:Toro:synchronizationprimitivesforTornadocoroutines Sun,18Nov201220:17:49+0000 http://feedproxy.google.com/~r/EmptysquarePython/~3/_DOZT2Kd0hQ/
很显然，如果你想做进一步的处理，你需要替换print()语句来完成其他有趣的事。
在很多应用程序中处理XML编码格式的数据是很常见的。不仅因为XML在Internet上面已经被广泛应用于数据交换，同时它也是一种存储应用程序数据的常用格式(比如字处理，音乐库等)。接下来的讨论会先假定读者已经对XML基础比较熟悉了。
在很多情况下，当使用XML来仅仅存储数据的时候，对应的文档结构非常紧凑并且直观。例如，上面例子中的RSS订阅源类似于下面的格式：
<?xmlversion="1.0"?> <rssversion="2.0"xmlns:dc="http://purl.org/dc/elements/1.1/"> <channel> <title>PlanetPython</title> <link>http://planet.python.org/</link> <language>en</language> <description>PlanetPython-http://planet.python.org/</description> <item> <title>SteveHolden:PythonforDataAnalysis</title> <guid>http://holdenweb.blogspot.com/...-data-analysis.html</guid> <link>http://holdenweb.blogspot.com/...-data-analysis.html</link> <description>...</description> <pubDate>Mon,19Nov201202:13:51+0000</pubDate> </item> <item> <title>VasudevRam:ThePythonDatamodel(forv2andv3)</title> <guid>http://jugad2.blogspot.com/...-data-model.html</guid> <link>http://jugad2.blogspot.com/...-data-model.html</link> <description>...</description> <pubDate>Sun,18Nov201222:06:47+0000</pubDate> </item> <item> <title>PythonDiary:BeenplayingaroundwithObjectDatabases</title> <guid>http://www.pythondiary.com/...-object-databases.html</guid> <link>http://www.pythondiary.com/...-object-databases.html</link> <description>...</description> <pubDate>Sun,18Nov201220:40:29+0000</pubDate> </item> ... </channel> </rss>
xml.etree.ElementTree.parse()函数解析整个XML文档并将其转换成一个文档对象。然后，你就能使用find()、iterfind()和findtext()等方法来搜索特定的XML元素了。这些函数的参数就是某个指定的标签名，例如channel/item或title。
每次指定某个标签时，你需要遍历整个文档结构。每次搜索操作会从一个起始元素开始进行。同样，每次操作所指定的标签名也是起始元素的相对路径。例如，执行doc.iterfind('channel/item')来搜索所有在channel元素下面的item元素。doc代表文档的最顶层(也就是第一级的rss元素)。然后接下来的调用item.findtext()会从已找到的item元素位置开始搜索。
ElementTree模块中的每个元素有一些重要的属性和方法，在解析的时候非常有用。tag属性包含了标签的名字，text属性包含了内部的文本，而get()方法能获取属性值。例如：
>>>doc
<xml.etree.ElementTree.ElementTreeobjectat0x101339510>
>>>e=doc.find('channel/title')
>>>e
<Element'title'at0x10135b310>
>>>e.tag
'title'
>>>e.text
'PlanetPython'
>>>e.get('some_attribute')
>>>
有一点要强调的是xml.etree.ElementTree并不是XML解析的唯一方法。对于更高级的应用程序，你需要考虑使用lxml。它使用了和ElementTree同样的编程接口，因此上面的例子同样也适用于lxml。你只需要将刚开始的import语句换成fromlxml.etreeimportparse就行了。lxml完全遵循XML标准，并且速度也非常快，同时还支持验证，XSLT，和XPath等特性。
增量式解析大型XML文件
任何时候只要你遇到增量式的数据处理时，第一时间就应该想到迭代器和生成器。下面是一个很简单的函数，只使用很少的内存就能增量式的处理一个大型XML文件：
fromxml.etree.ElementTreeimportiterparse
defparse_and_remove(filename,path):
path_parts=path.split('/')
doc=iterparse(filename,('start','end'))
#Skiptherootelement
next(doc)
tag_stack=[]
elem_stack=[]
forevent,elemindoc:
ifevent=='start':
tag_stack.append(elem.tag)
elem_stack.append(elem)
elifevent=='end':
iftag_stack==path_parts:
yieldelem
elem_stack[-2].remove(elem)
try:
tag_stack.pop()
elem_stack.pop()
exceptIndexError:
pass
为了测试这个函数，你需要先有一个大型的XML文件。通常你可以在政府网站或公共数据网站上找到这样的文件。例如，你可以下载XML格式的芝加哥城市道路坑洼数据库。在写这本书的时候，下载文件已经包含超过100,000行数据，编码格式类似于下面这样：
假设你想写一个脚本来按照坑洼报告数量排列邮编号码。你可以像这样做：
fromxml.etree.ElementTreeimportparse
fromcollectionsimportCounter
potholes_by_zip=Counter()
doc=parse('potholes.xml')
forpotholeindoc.iterfind('row/row'):
potholes_by_zip[pothole.findtext('zip')]+=1
forzipcode,numinpotholes_by_zip.most_common():
print(zipcode,num)
这个脚本唯一的问题是它会先将整个XML文件加载到内存中然后解析。在我的机器上，为了运行这个程序需要用到450MB左右的内存空间。如果使用如下代码，程序只需要修改一点点：
fromcollectionsimportCounter
potholes_by_zip=Counter()
data=parse_and_remove('potholes.xml','row/row')
forpotholeindata:
potholes_by_zip[pothole.findtext('zip')]+=1
forzipcode,numinpotholes_by_zip.most_common():
print(zipcode,num)
结果是：这个版本的代码运行时只需要7MB的内存–大大节约了内存资源。
讨论
这里技术会依赖ElementTree模块中的两个核心功能。第一，iterparse()方法允许对XML文档进行增量操作。使用时，你需要提供文件名和一个包含下面一种或多种类型的事件列表：start,end,start-ns和end-ns。由iterparse()创建的迭代器会产生形如(event,elem)的元组，其中event是上述事件列表中的某一个，而elem是相应的XML元素。例如：
>>>data=iterparse('potholes.xml',('start','end'))
>>>next(data)
('start',<Element'response'at0x100771d60>)
>>>next(data)
('start',<Element'row'at0x100771e68>)
>>>next(data)
('start',<Element'row'at0x100771fc8>)
>>>next(data)
('start',<Element'creation_date'at0x100771f18>)
>>>next(data)
('end',<Element'creation_date'at0x100771f18>)
>>>next(data)
('start',<Element'status'at0x1006a7f18>)
>>>next(data)
('end',<Element'status'at0x1006a7f18>)
>>>
start事件在某个元素第一次被创建并且还没有被插入其他数据(如子元素)时被创建。而end事件在某个元素已经完成时被创建。尽管没有在例子中演示，start-ns和end-ns事件被用来处理XML文档命名空间的声明。
这本节例子中，start和end事件被用来管理元素和标签栈。栈代表了文档被解析时的层次结构，还被用来判断某个元素是否匹配传给函数parse_and_remove()的路径。如果匹配，就利用yield语句向调用者返回这个元素。
在yield之后的下面这个语句才是使得程序占用极少内存的ElementTree的核心特性：
elem_stack[-2].remove(elem)
这个语句使得之前由yield产生的元素从它的父节点中删除掉。假设已经没有其它的地方引用这个元素了，那么这个元素就被销毁并回收内存。
对节点的迭代式解析和删除的最终效果就是一个在文档上高效的增量式清扫过程。文档树结构从始自终没被完整的创建过。尽管如此，还是能通过上述简单的方式来处理这个XML数据。
这种方案的主要缺陷就是它的运行性能了。我自己测试的结果是，读取整个文档到内存中的版本的运行速度差不多是增量式处理版本的两倍快。但是它却使用了超过后者60倍的内存。因此，如果你更关心内存使用量的话，那么增量式的版本完胜。