Python中利用xpath解析HTML的方法


Posted in Python onMay 14, 2018

在进行网页抓取的时候,分析定位html节点是获取抓取信息的关键,目前我用的是lxml模块(用来分析XML文档结构的,当然也能分析html结构), 利用其lxml.html的xpath对html进行分析,获取抓取信息。

首先,我们需要安装一个支持xpath的python库。目前在libxml2的网站上被推荐的python binding是lxml,也有beautifulsoup,不嫌麻烦的话还可以自己用正则表达式去构建,本文以lxml为例讲解。

假设有如下的HTML文档:

<html>
 <body>
  <form>
   <div id='leftmenu'>
    <h3>text</h3>
    <ul id='china'><!-- first location -->
     <li>...</li>
     <li>...</li>
       ......
    </ul>
    <ul id='england'><!-- second location-->
     <li>...</li>
     <li>...</li>
       ......
    </ul>
   </div>
  </form>
 </body>
</html>

直接使用lxml处理:

import codecs
 from lxml import etree
 f=codecs.open("ceshi.html","r","utf-8")
 content=f.read()
 f.close()
 tree=etree.HTML(content)

etree提供了HTML这个解析函数,现在我们可以直接对HTML使用xpath了,是不是有点小激动,现在就尝试下吧。

在使用xpath之前我们先来看看作为对照的jQuery和RE。

在jQuery里要处理这种东西就很简单,特别是假如那个ul节点有id的话(比如是<ul id='china'>):

$("#china").each(function(){...});

具体到此处是:

$("#leftmenu").children("h3:contains('text')").next("ul").each(function(){...});

找到id为leftmenu的节点,在其下找到一个内容包含为”text”的h3节点,再取其接下来的一个ul节点。

在python里要是用RE来处理就略麻烦一些:

block_pattern=re.compile(u"<h3>档案</h3>(.*?)<h3>", re.I | re.S)
m=block_pattern.findall(content)
item_pattern=re.compile(u"<li>(.*?)</li>", re.I | re.S)
items=item_pattern.findall(m[0])
for i in items:
  print i

那么用xpath要怎么做呢?其实跟jQuery是差不多的:

nodes=tree.xpath("/descendant::ul[@id='china']")

当然,现在没有id的话也就只能用类似于jQuery的方法了。完整的xpath应该是这样写的(注意,原文件中的TAG有大小写的情况,但是在XPATH里只能用小写):

nodes=tree.xpath(u"/html/body/form/div[@id='leftmenu']/h3[text()='text']/following-sibling::ul[1]")

更简单的方法就是像jQuery那样直接根据id定位:

nodes=tree.xpath(u"//div[@id='leftmenu']/h3[text()='text']/following-sibling::ul[1]")

这两种方法返回的结果中,nodes[0]就是那个“text”的h3节点后面紧跟的第一个ul节点,这样就可以列出后面所有的ul节点内容了。

如果ul节点下面还有其他的节点,我们要找到更深节点的内容,如下的循环就是把这些节点的文本内容列出:

nodes=nodes[0].xpath("li/a")
for n in nodes:
  print n.text

对比三种方法应该可以看出xpath和jQuery对于页面的解析都是基于XML的语义进行,而RE则纯粹是基于plain text。RE对付简单的页面是没有问题,如果页面结构复杂度较高的时候(比如一堆的DIV来回嵌套之类),设计一个恰当的RE pattern可能会远比写一个xpath要复杂。特别是目前主流的基于CSS的页面设计方式,其中大部分关键节点都会有id??对于使用jQuery的页面来说则更是如此,这时xpath相比RE就有了决定性的优势。

 附录:基本XPATH语法介绍,详细请参考XPath的官方文档

XPATH基本上是用一种类似目录树的方法来描述在XML文档中的路径。比如用“/”来作为上下层级间的分隔。第一个“/”表示文档的根节点(注意,不是指文档最外层的tag节点,而是指文档本身)。比如对于一个HTML文件来说,最外层的节点应该是”/html”。

同样的,“..”和“.”分别被用来表示父节点和本节点。

XPATH返回的不一定就是唯一的节点,而是符合条件的所有节点。比如在HTML文档里使用“/html/head/scrpt”就会把head里的所有script节点都取出来。

为了缩小定位范围,往往还需要增加过滤条件。过滤的方法就是用“[”“]”把过滤条件加上。比如在HTML文档里使用“/html/body/div[@id='main']”,即可取出body里id为main的div节点。

其中@id表示属性id,类似的还可以使用如@name, @value, @href, @src, @class….

而 函数text()的意思则是取得节点包含的文本。比如:<div>hello<p>world</p>< /div>中,用”div[text()='hello']“即可取得这个div,而world则是p的text()。

函数position()的意思是取得节点的位置。比如“li[position()=2]”表示取得第二个li节点,它也可以被省略为“li[2]”。

不过要注意的是数字定位和过滤 条件的顺序。比如“ul/li[5][@name='hello']”表示取ul下第五项li,并且其name必须是hello,否则返回空。而如果用 “ul/li[@name='hello'][5]”的意思就不同,它表示寻找ul下第五个name为”hello“的li节点。

此外,“*”可以代替所有的节点名,比如用”/html/body/*/span”可以取出body下第二级的所有span,而不管它上一级是div还是p或是其它什么东东。

而 “descendant::”前缀可以指代任意多层的中间节点,它也可以被省略成一个“/”。比如在整个HTML文档中查找id为“leftmenu”的 div,可以用“/descendant::div[@id='leftmenu']”,也可以简单地使用“ //div[@id='leftmenu']”。

至于“following-sibling::”前缀就如其名所说,表示同一层的下一个节点。”following-sibling::*”就是任意下一个节点,而“following-sibling::ul”就是下一个ul节点。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python计数排序和基数排序算法实例
Apr 25 Python
Python迭代器和生成器介绍
Mar 06 Python
Python while、for、生成器、列表推导等语句的执行效率测试
Jun 03 Python
使用Python操作MySQL的一些基本方法
Aug 16 Python
python Django批量导入不重复数据
Mar 25 Python
Python编程实现微信企业号文本消息推送功能示例
Aug 21 Python
基于Python中capitalize()与title()的区别详解
Dec 09 Python
对python字典过滤条件的实例详解
Jan 22 Python
Python中判断子串存在的性能比较及分析总结
Jun 23 Python
Python 类方法和实例方法(@classmethod),静态方法(@staticmethod)原理与用法分析
Sep 20 Python
python 并发下载器实现方法示例
Nov 22 Python
TensorFlow dataset.shuffle、batch、repeat的使用详解
Jan 21 Python
利用pyinstaller将py文件打包为exe的方法
May 14 #Python
django的登录注册系统的示例代码
May 14 #Python
django允许外部访问的实例讲解
May 14 #Python
运行django项目指定IP和端口的方法
May 14 #Python
python使用Flask操作mysql实现登录功能
May 14 #Python
查看Django和flask版本的方法
May 14 #Python
Python处理中文标点符号大集合
May 14 #Python
You might like
php生成年月日下载列表的方法
2015/04/24 PHP
php多线程实现方法及用法实例详解
2015/10/26 PHP
如何使用PHP Embed SAPI实现Opcodes查看器
2015/11/10 PHP
php+ajax无刷新上传图片的实现方法
2016/12/06 PHP
在 Laravel 6 中缓存数据库查询结果的方法
2019/12/11 PHP
一个tab标签切换效果代码
2009/03/27 Javascript
Javascript insertAfter() 实现函数代码
2011/10/12 Javascript
jQuery中.live()方法的用法深入解析
2013/12/30 Javascript
js通过更改按钮的显示样式实现按钮的滑动效果
2014/04/23 Javascript
Js Jquery创建一个弹出层可加载一个页面
2014/05/08 Javascript
javascript实现画不相交的圆
2015/04/07 Javascript
BootStrap轮播HTML代码(推荐)
2016/12/10 Javascript
Vue.js系列之项目结构说明(2)
2017/01/03 Javascript
JS中实现函数return多个返回值的实例
2017/02/21 Javascript
Vue.use源码分析
2017/04/22 Javascript
使用javaScript实现鼠标拖拽事件
2020/04/03 Javascript
vue中axios请求的封装实例代码
2019/03/23 Javascript
详解微信小程序开发用户授权登陆
2019/04/24 Javascript
解决vue-cli 打包后自定义动画未执行的问题
2019/11/12 Javascript
Node.js API详解之 V8模块用法实例分析
2020/06/05 Javascript
[36:05]完美世界DOTA2联赛循环赛 Forest vs DM 第一场 11.06
2020/11/06 DOTA
Python中列表元素转为数字的方法分析
2016/06/14 Python
Python中文分词实现方法(安装pymmseg)
2016/06/14 Python
python实现爬取图书封面
2018/07/05 Python
Python实现的银行系统模拟程序完整案例
2019/04/12 Python
Django model 中设置联合约束和联合索引的方法
2019/08/06 Python
Python3 把一个列表按指定数目分成多个列表的方式
2019/12/25 Python
世界上最大的乐器零售商:Guitar Center
2017/11/07 全球购物
罗马尼亚在线杂货店:Pilulka.ro
2019/09/28 全球购物
大学生个人推荐信范文
2013/11/25 职场文书
两年的个人工作自我评价
2014/01/10 职场文书
互联网创业计划书写作技巧攻略
2014/03/23 职场文书
党员四风问题个人对照检查材料
2014/10/26 职场文书
2015年青年志愿者工作总结
2015/05/20 职场文书
劳动仲裁代理词范文
2015/05/25 职场文书
初中语文教师研修日志
2015/11/13 职场文书