Python xpath表达式如何实现数据处理


Posted in Python onJune 13, 2020

xpath表达式

1. xpath语法

<bookstore>
<book>
 <title lang="eng">Harry Potter</title>
 <price>999</price>
</book>
<book>
 <title lang="eng">Learning XML</title>
 <price>888</price>
</book>
</bookstore>

1.1 选取节点

XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。

使用chrome插件选择标签时候,选中时,选中的标签会添加属性class="xh-highlight"

下面列出了最有用的表达式:

表达式 描述
nodename 选中该元素。
/ 从根节点选取、或者是元素和元素间的过渡。
// 从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置。
. 选取当前节点。
.. 选取当前节点的父节点。
@ 选取属性。
text() 选取文本。

实例

路径表达式 结果
bookstore 选择bookstore元素。
/bookstore 选取根元素 bookstore。注释:假如路径起始于正斜杠( / ),则此路径始终代表到某元素的绝对路径!
bookstore/book 选取属于 bookstore 的子元素的所有 book 元素。
//book 选取所有 book 子元素,而不管它们在文档中的位置。
bookstore//book 选择属于 bookstore 元素的后代的所有 book 元素,而不管它们位于 bookstore 之下的什么位置。
//book/title/@lang 选择所有的book下面的title中的lang属性的值。
//book/title/text() 选择所有的book下面的title的文本。
  • 选择所有的h1下的文本
  • //h1/text()
  • 获取所有的a标签的href
  • //a/@href
  • 获取html下的head下的title的文本
  • /html/head/title/text()
  • 获取html下的head下的link标签的href
  • /html/head/link/@href

1.2 查找特定的节点

路径表达式 结果
//title[@lang="eng"] 选择lang属性值为eng的所有title元素
/bookstore/book[1] 选取属于 bookstore 子元素的第一个 book 元素。
/bookstore/book[last()] 选取属于 bookstore 子元素的最后一个 book 元素。
/bookstore/book[last()-1] 选取属于 bookstore 子元素的倒数第二个 book 元素。
/bookstore/book[position()>1] 选择bookstore下面的book元素,从第二个开始选择
//book/title[text()='Harry Potter'] 选择所有book下的title元素,仅仅选择文本为Harry Potter的title元素
/bookstore/book[price>35.00]/title 选取 bookstore 元素中的 book 元素的所有 title 元素,且其中的 price 元素的值须大于 35.00。

注意点: 在xpath中,第一个元素的位置是1,最后一个元素的位置是last(),倒数第二个是last()-1

1.3 选取未知节点

XPath 通配符可用来选取未知的 XML 元素。

通配符 描述
* 匹配任何元素节点。
@* 匹配任何属性节点。
node() 匹配任何类型的节点。

实例

在下面的表格中,我们列出了一些路径表达式,以及这些表达式的结果:

路径表达式 结果
/bookstore/* 选取 bookstore 元素的所有子元素。
//* 选取文档中的所有元素。
//title[@*] 选取所有带有属性的 title 元素。

1.4 选取若干路径

通过在路径表达式中使用“|”运算符,您可以选取若干个路径。

实例

在下面的表格中,我们列出了一些路径表达式,以及这些表达式的结果:

路径表达式 结果
//book/title | //book/price 选取 book 元素的所有 title 和 price 元素。
//title | //price 选取文档中的所有 title 和 price 元素。
/bookstore/book/title | //price 选取属于 bookstore 元素的 book 元素的所有 title 元素,以及文档中所有的 price 元素。

实例:

from lxml import etree
text = ''' <div> <ul> 
    <li class="item-1"><a href="link1.html" rel="external nofollow" >first item</a></li> 
    <li class="item-1"><a href="link2.html" rel="external nofollow" >second item</a></li> 
    <li class="item-inactive"><a href="link3.html" rel="external nofollow" >third item</a></li> 
    <li class="item-1"><a href="link4.html" rel="external nofollow" >fourth item</a></li> 
    <li class="item-0"><a href="link5.html" rel="external nofollow" >fifth item</a> 
    </ul> </div> '''

html = etree.HTML(text)

#获取href的列表和title的列表
href_list = html.xpath("//li[@class='item-1']/a/@href")
title_list = html.xpath("//li[@class='item-1']/a/text()")


#组装成字典
for href in href_list:
  item = {}
  item["href"] = href
  item["title"] = title_list[href_list.index(href)]
  print(item)

# 如果取到的是一个节点,返回的是element对象,可以继续使用xpath方法,对此我们可以在后面的数据提取过程中:先根据某个标签进行分组,分组之后再进行数据的提取
li_list = html.xpath("//li[@class='item-1']")

#在每一组中继续进行数据的提取
for li in li_list:
  item = {}
  item["href"] = li.xpath("./a/@href")[0] if len(li.xpath("./a/@href"))>0 else None
  item["title"] = li.xpath("./a/text()")[0] if len(li.xpath("./a/text()"))>0 else None
  print(item)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python pass 语句使用示例
Mar 11 Python
python中使用urllib2获取http请求状态码的代码例子
Jul 07 Python
Python网络爬虫实例讲解
Apr 28 Python
Python编程实现的简单神经网络算法示例
Jan 26 Python
用tensorflow搭建CNN的方法
Mar 05 Python
Python切片工具pillow用法示例
Mar 30 Python
pandas 对series和dataframe进行排序的实例
Jun 09 Python
python画双y轴图像的示例代码
Jul 07 Python
用Python+OpenCV对比图像质量的几种方法
Jul 15 Python
python文件绝对路径写法介绍(windows)
Dec 25 Python
python文件及目录操作代码汇总
Jul 08 Python
python实现跨年表白神器--你值得拥有
Jan 04 Python
Python轻量级web框架bottle使用方法解析
Jun 13 #Python
PyInstaller运行原理及常用操作详解
Jun 13 #Python
Pandas缺失值2种处理方式代码实例
Jun 13 #Python
Python Django中间件使用原理及流程分析
Jun 13 #Python
Django QuerySet查询集原理及代码实例
Jun 13 #Python
Python celery原理及运行流程解析
Jun 13 #Python
基于Python实现视频的人脸融合功能
Jun 12 #Python
You might like
理解php原理的opcodes(操作码)
2010/10/26 PHP
php写入、删除与复制文件的方法
2015/06/20 PHP
浅谈PHP的$_SERVER[SERVER_NAME]
2017/02/04 PHP
laravel 解决paginate查询多个字段报错的问题
2019/10/22 PHP
cnblogs中在闪存中屏蔽某人的实现代码
2010/11/14 Javascript
javascript垃圾收集机制与内存泄漏详细解析
2013/11/11 Javascript
JavaScript打印网页指定区域的例子
2014/05/03 Javascript
JavaScript实现查找字符串中第一个不重复的字符
2014/12/29 Javascript
jQuery控制cookie过期时间的方法
2015/04/07 Javascript
在JavaScript的正则表达式中使用exec()方法
2015/06/16 Javascript
动态生成的DOM不会触发onclick事件的原因及解决方法
2016/08/06 Javascript
vue使用axios跨域请求数据问题详解
2017/10/18 Javascript
浅谈redux, koa, express 中间件实现对比解析
2019/05/23 Javascript
layui上传图片到服务器的非项目目录下的方法
2019/09/26 Javascript
vue学习之Vue-Router用法实例分析
2020/01/06 Javascript
JavaScript实现拖动对话框效果的实现代码
2020/10/12 Javascript
[01:03]PWL开团时刻DAY6——别打我
2020/11/05 DOTA
深入浅析python中的多进程、多线程、协程
2016/06/22 Python
分分钟入门python语言
2018/03/20 Python
Python3使用SMTP发送带附件邮件
2020/06/16 Python
Python数据持久化shelve模块用法分析
2018/06/29 Python
pyttsx3实现中文文字转语音的方法
2018/12/24 Python
树莓派采用socket方式文件传输(python)
2019/06/22 Python
python opencv 批量改变图片的尺寸大小的方法
2019/06/28 Python
Python接口测试结果集实现封装比较
2020/05/01 Python
Python 字典中的所有方法及用法
2020/06/10 Python
python实现简单文件读写函数
2021/02/25 Python
JAKO-O德国野酷台湾站:德国首屈一指的婴幼童用品品牌
2019/01/14 全球购物
Discard Protocol抛弃协议的作用是什么
2015/10/10 面试题
软件测试笔试题
2012/10/25 面试题
优秀应届生推荐信
2013/11/09 职场文书
物业客服专员岗位职责
2013/11/30 职场文书
高三毕业典礼主持词
2014/03/27 职场文书
检讨书范文
2015/01/27 职场文书
2015年评职称个人工作总结
2015/10/15 职场文书
mysql 获取时间方式
2022/03/20 MySQL