Python网络爬虫四大选择器用法原理总结


Posted in Python onJune 01, 2020

前几天小编连续写了四篇关于Python选择器的文章,分别用正则表达式、BeautifulSoup、Xpath、CSS选择器分别抓取京东网的商品信息。今天小编来给大家总结一下这四个选择器,让大家更加深刻的理解和熟悉Python选择器。

一、正则表达式

正则表达式为我们提供了抓取数据的快捷方式。虽然该正则表达式更容易适应未来变化,但又存在难以构造、可读性差的问题。当在爬京东网的时候,正则表达式如下图所示:

Python网络爬虫四大选择器用法原理总结

利用正则表达式实现对目标信息的精准采集

此外 ,我们都知道,网页时常会产生变更,导致网页中会发生一些微小的布局变化时,此时也会使得之前写好的正则表达式无法满足需求,而且还不太好调试。当需要匹配的内容有很多的时候,使用正则表达式提取目标信息会导致程序运行的速度减慢,需要消耗更多内存。

二、BeautifulSoup

BeautifulSoup是一个非常流行的 Pyhon 模块。该模块可以解析网页,并提供定位内容的便捷接口。通过'pip install beautifulsoup4'就可以实现该模块的安装了。

Python网络爬虫四大选择器用法原理总结

利用美丽的汤去提取目标信息

使用 BeautifulSoup的第一步是将己下载的 HTML 内容解析为 soup文档。由 于大多 数网 页都不具备良好的HTML 格式,因此BeautifulSoup需要对实际格式进行确定。BeautifulSoup能够正确解析缺失的引号并闭合标签,此外还会添加<html >和<body>标签使其成为完整的HTML文档。通常使用find() 和find_all()方法来定位我们需要的元素。如果你想了解BeautifulSoup全部方法和参数,可以查阅BeautifulSoup的官方文档。虽然BeautifulSoup在代码的理解上比正则表达式要复杂一些,但是其更加容易构造和理解。

三、Lxml

Lxml模块使用 C语言编写,其解析速度比 BeautiflSoup更快,而且其安装过程也更为复杂,在此小编就不赘述啦。XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。

Python网络爬虫四大选择器用法原理总结

Xpath

使用 lxml 模块的第一步和BeautifulSoup一样,也是将有可能不合法的HTML 解析为 统一格式。 虽然Lxml可以正确解析属性两侧缺失的引号,并闭合标签,不过该模块没有额外添加<html >和<body>标签 。

在线复制Xpath表达式可以很方便的复制Xpath表达式。但是通过该方法得到的Xpath表达式放在程序中一般不能用,而且长的没法看。所以Xpath表达式一般还是要自己亲自上手。

四、CSS

CSS选择器表示选择元素所使用 的模式。BeautifulSoup整合了CSS选择器的语法和自身方便使用API。在网络爬虫的开发过程中,对于熟悉CSS选择器语法的人,使用CSS选择器是个非常方便的方法。

Python网络爬虫四大选择器用法原理总结

CSS选择器

下面是一些常用的选择器示例。

  • 选择所有标签: *
  • 选择<a>标 签: a
  • 选择所有class=”link” 的元素: .l in k
  • 选择 class=”link” 的<a>标签: a.link
  • 选择 id= " home ” 的<a>标签: a Jhome
  • 选择父元素为<a>标签的所有< span>子标签: a > span
  • 选择<a>标签内部的所有<span>标签: a span
  • 选择title属性为” Home ” 的所有<a>标签: a [title=Home]

五、性能对比

lxml 和正则表达式模块都是C语言编写的,而BeautifulSoup则是纯Python 编写的。下表总结了每种抓取方法的优缺点。

Python网络爬虫四大选择器用法原理总结

相对困难需要注意的是。lxml在内部实现中,实际上是将CSS选择器转换为等价的Xpath选择器。

六、总结

如果你的爬虫瓶颈是下载网页,而不是抽取数据的话,那么使用较慢的方法(如BeautifulSoup) 也不成问题。如果只需抓取少量数据,并且想要避免额外依赖的话,那么正则表达式可能更加适合。不过,通常情况下,l xml是抓取数据的最好选择,这是因为该方法既快速又健壮,而正则表达式和BeautifulSoup只在某些特定场景下有用。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python深入学习之对象的属性
Aug 31 Python
python实现的希尔排序算法实例
Jul 01 Python
用Python实现读写锁的示例代码
Nov 05 Python
使用50行Python代码从零开始实现一个AI平衡小游戏
Nov 21 Python
解决nohup执行python程序log文件写入不及时的问题
Jan 14 Python
对Python中class和instance以及self的用法详解
Jun 26 Python
python中while和for的区别总结
Jun 28 Python
python操作cfg配置文件方式
Dec 22 Python
Python3如何判断三角形的类型
Apr 12 Python
写一个Python脚本自动爬取Bilibili小视频
Apr 24 Python
Python实现制作销售数据可视化看板详解
Nov 27 Python
基于PyQt5制作一个群发邮件工具
Apr 08 Python
浅谈Pycharm的项目文件名是红色的原因及解决方式
Jun 01 #Python
pycharm设置默认的UTF-8编码模式的方法详解
Jun 01 #Python
解决pycharm导入本地py文件时,模块下方出现红色波浪线的问题
Jun 01 #Python
Python常见反爬虫机制解决方案
Jun 01 #Python
解决python运行启动报错问题
Jun 01 #Python
利用python控制Autocad:pyautocad方式
Jun 01 #Python
Python 跨.py文件调用自定义函数说明
Jun 01 #Python
You might like
深入探究PHP的多进程编程方法
2015/08/18 PHP
PHP实现转盘抽奖算法分享
2020/04/15 PHP
统计PHP目录中的文件数方法
2019/03/05 PHP
javascript阻止浏览器后退事件防止误操作清空表单
2013/11/22 Javascript
Js实现自定义右键行为
2015/03/26 Javascript
JS根据生日算年龄的方法
2015/05/05 Javascript
iscroll.js的上拉下拉刷新时无法回弹的解决方法
2016/02/18 Javascript
AngularJS入门教程之控制器详解
2016/07/27 Javascript
JavaScript中this的用法及this在不同应用场景的作用解析
2017/04/13 Javascript
JavaScript限制在客户区可见范围的拖拽(解决scrollLeft和scrollTop的问题)(2)
2017/05/17 Javascript
在Vue组件化中利用axios处理ajax请求的使用方法
2017/08/25 Javascript
jquery根据name取得select选中的值实例(超简单)
2018/01/25 jQuery
vue自定义指令之面板拖拽的实现
2019/04/14 Javascript
微信小程序用户授权弹窗 拒绝时引导用户重新授权实现
2019/07/29 Javascript
AntV F2和vue-cli构建移动端可视化视图过程详解
2019/10/08 Javascript
Vue使用鼠标在Canvas上绘制矩形
2020/12/24 Vue.js
[58:12]Ti4第二日主赛事败者组 LGD vs iG 3
2014/07/21 DOTA
Linux环境下MySQL-python安装过程分享
2015/02/02 Python
python 通过logging写入日志到文件和控制台的实例
2018/04/28 Python
Numpy数组array和矩阵matrix转换方法
2019/08/05 Python
python3 反射的四种基本方法解析
2019/08/26 Python
Django ValuesQuerySet转json方式
2020/03/16 Python
python对指定字符串逆序的6种方法(小结)
2020/04/02 Python
keras在构建LSTM模型时对变长序列的处理操作
2020/06/29 Python
Python图像读写方法对比
2020/11/16 Python
IE滤镜与CSS3效果(详细整理分享)
2013/01/25 HTML / CSS
欧迪办公美国官网:Office Depot
2016/08/22 全球购物
加拿大高尔夫超市:Golf Town
2018/01/12 全球购物
新加坡领先的时尚生活方式零售品牌:CHARLES & KEITH
2018/01/16 全球购物
美国五金商店:Ace Hardware
2018/03/27 全球购物
可持续未来的时尚基础:Alternative Apparel
2019/05/06 全球购物
俄语翻译实习生的自我评价分享
2013/11/06 职场文书
承诺书范本
2015/01/21 职场文书
先进个人主要事迹怎么写
2015/11/04 职场文书
java executor包参数处理功能 
2022/02/15 Java/Android
【海涛七七解说】DCG第二周:DK VS 天禄
2022/04/01 DOTA