Python爬虫解析网页的4种方式实例及原理解析


Posted in Python onDecember 30, 2019

这篇文章主要介绍了Python爬虫解析网页的4种方式实例及原理解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

用Python写爬虫工具在现在是一种司空见惯的事情,每个人都希望能够写一段程序去互联网上扒一点资料下来,用于数据分析或者干点别的事情。​

我们知道,爬虫的原理无非是把目标网址的内容下载下来存储到内存中,这个时候它的内容其实是一堆HTML,然后再对这些HTML内容进行解析,按照自己的想法提取出想要的数据,所以今天我们主要来讲四种在Python中解析网页HTML内容的方法,各有千秋,适合在不同的场合下使用。

首先我们随意找到一个网址,这时我脑子里闪过了豆瓣这个网站。嗯,毕竟是用Python构建的网站,那就拿它来做示范吧。

我们找到了豆瓣的Python爬虫小组主页,看起来长成下面这样。

Python爬虫解析网页的4种方式实例及原理解析

让我们用浏览器开发者工具看看HTML代码,定位到想要的内容上,我们想要把讨论组里的帖子标题和链接都给扒出来。

Python爬虫解析网页的4种方式实例及原理解析

通过分析,我们发现实际上我们想要的内容在整个HTML代码的 这个区域里,那我们只需要想办法把这个区域内的内容拿出来就差不多了。

现在开始写代码。

1: 正则表达式大法

正则表达式通常被用来检索、替换那些符合某个模式的文本,所以我们可以利用这个原理来提取我们想要的信息。

参考以下代码。

Python爬虫解析网页的4种方式实例及原理解析

在代码第6行和第7行,需要手动指定一下header的内容,装作自己这个请求是浏览器请求,否则豆瓣会视为我们不是正常请求会返回HTTP 418错误。

在第7行我们直接用requests这个库的get方法进行请求,获取到内容后需要进行一下编码格式转换,同样是因为豆瓣的页面渲染机制的问题,正常情况下,直接获取requests content的内容即可。

Python模拟浏览器发起请求并解析内容代码:

rl = 'https://www.douban.com/group/491607/'headers = {"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10.14; rv:71.0) Gecko/20100101 Firefox/71.0"}response = requests.get(url=url,headers=headers).content.decode('utf-8')

正则的好处是编写麻烦,理解不容易,但是匹配效率很高,不过时至今日有太多现成的HTMl内容解析库之后,我个人不太建议再手动用正则来对内容进行匹配了,费时费力。

主要解析代码:

re_div = r'<table\s+class=\"olt\">[\W|\w]+</table>'pattern = re.compile(re_div)content = re.findall(pattern, str(response))re_link = r'<a .*?>(.*?)</a>'mm = re.findall(re_link, str(content), re.S|re.M)urls=re.findall(r"<a.*?href=.*?<\/a>", str(content), re.I|re.S|re.M)

2: requests-html

这个库其实是我个人最喜欢的库,作则是编写requests库的网红程序员 Kenneth Reitz,他在requests的基础上加上了对html内容的解析,就变成了requests-html这个库了。

下面我们来看看范例:

Python爬虫解析网页的4种方式实例及原理解析

我喜欢用requests-html来解析内容的原因是因为作者依据帮我高度封装过了,连请求返回内容的编码格式转换也自动做了,完全可以让我的代码逻辑简单直接,更专注于解析工作本身。

主要解析代码:

links = response.html.find('table.olt', first=True).find('a')

安装途径: pip install requests-html

3: BeautifulSoup

大名鼎鼎的 BeautifulSoup库,出来有些年头了,在Pyhton的HTML解析库里属于重量级的库,其实我评价它的重量是指比较臃肿,大而全。

还是来先看看代码。

Python爬虫解析网页的4种方式实例及原理解析

soup = BeautifulSoup(response, 'html.parser')links = soup.findAll("table", {"class": "olt"})[0].findAll('a')

BeautifulSoup解析内容同样需要将请求和解析分开,从代码清晰程度来讲还将就,不过在做复杂的解析时代码略显繁琐,总体来讲可以用,看个人喜好吧。

安装途径: pip install beautifulsoup4

4: lxml的XPath

lxml这个库同时 支持HTML和XML的解析,支持XPath解析方式,解析效率挺高,不过我们需要熟悉它的一些规则语法才能使用,例如下图这些规则。

Python爬虫解析网页的4种方式实例及原理解析

来看看如何用XPath解析内容。

主要解析代码:

content = doc.xpath("//table[@class='olt']/tr/td/a")

Python爬虫解析网页的4种方式实例及原理解析

如上图,XPath的解析语法稍显复杂,不过熟悉了语法的话也不失为一种优秀的解析手段,因为。

安装途径: pip install lxml

四种方式总结

正则表达式匹配不推荐,因为已经有很多现成的库可以直接用,不需要我们去大量定义正则表达式,还没法复用,在此仅作参考了解。

BeautifulSoup是基于DOM的方式,简单的说就是会在解析时把整个网页内容加载到DOM树里,内存开销和耗时都比较高,处理海量内容时不建议使用。不过BeautifulSoup不需要结构清晰的网页内容,因为它可以直接find到我们想要的标签,如果对于一些HTML结构不清晰的网页,它比较适合。

XPath是基于SAX的机制来解析,不会像BeautifulSoup去加载整个内容到DOM里,而是基于事件驱动的方式来解析内容,更加轻巧。不过XPath要求网页结构需要清晰,而且开发难度比DOM解析的方式高一点,推荐在需要解析效率时使用。

requests-html 是比较新的一个库,高度封装且源码清晰,它直接整合了大量解析时繁琐复杂的操作,同时支持DOM解析和XPath解析两种方式,灵活方便,这是我目前用得较多的一个库。

除了以上介绍到几种网页内容解析方式之外还有很多解析手段,在此不一一进行介绍了。

写一个爬虫,最重要的两点就是如何抓取数据,如何解析数据,我们要活学活用,在不同的时候利用最有效的工具去完成我们的目的。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
详解python之简单主机批量管理工具
Jan 27 Python
python机器学习库常用汇总
Nov 15 Python
python 读写文件,按行修改文件的方法
Jul 12 Python
django框架面向对象ORM模型继承用法实例分析
Jul 29 Python
Django 对IP访问频率进行限制的例子
Aug 30 Python
python中数据库like模糊查询方式
Mar 02 Python
Python调用C语言程序方法解析
Jul 07 Python
python如何代码集体右移
Jul 20 Python
如何基于python实现年会抽奖工具
Oct 20 Python
python实现监听键盘
Apr 26 Python
利用Python实现翻译HTML中的文本字符串
Jun 21 Python
Python可视化神器pyecharts之绘制箱形图
Jul 07 Python
Python中如何将一个类方法变为多个方法
Dec 30 #Python
pytorch 实现打印模型的参数值
Dec 30 #Python
Python如何基于smtplib发不同格式的邮件
Dec 30 #Python
pytorch获取模型某一层参数名及参数值方式
Dec 30 #Python
Python类反射机制使用实例解析
Dec 30 #Python
Python读取YAML文件过程详解
Dec 30 #Python
python通过nmap扫描在线设备并尝试AAA登录(实例代码)
Dec 30 #Python
You might like
基于magic_quotes_gpc与magic_quotes_runtime的区别与使用介绍
2013/04/22 PHP
有关PHP性能优化的介绍
2013/06/20 PHP
关于PHP语言构造器介绍
2013/07/08 PHP
PHP中的类型提示(type hinting)功能介绍
2015/07/01 PHP
js保留小数点后几位的写法
2014/01/03 Javascript
在NodeJS中启用ECMAScript 6小结(windos以及Linux)
2014/07/15 NodeJs
jQuery打印图片pdf、txt示例代码
2014/07/22 Javascript
jquery取子节点及当前节点属性值的方法
2014/09/09 Javascript
jQuery实现高亮显示的方法
2015/03/10 Javascript
谈谈Jquery中的children find 的区别有哪些
2015/10/19 Javascript
jQuery常用的一些技巧汇总
2016/03/26 Javascript
jQuery对象与DOM对象转换方法详解
2016/05/10 Javascript
Bootstrap组件系列之福利篇几款好用的组件(推荐)
2016/06/23 Javascript
jQuery simpleModal插件的使用介绍
2016/08/30 Javascript
深入理解jQuery3.0的domManip函数
2016/09/01 Javascript
javascript设计模式之中介者模式学习笔记
2017/02/15 Javascript
如何通过Proxy实现JSBridge模块化封装
2020/10/22 Javascript
Python urllib、urllib2、httplib抓取网页代码实例
2015/05/09 Python
Python Requests 基础入门
2016/04/07 Python
numpy数组拼接简单示例
2017/12/15 Python
Python常见工厂函数用法示例
2018/03/21 Python
让Django支持Sql Server作后端数据库的方法
2018/05/29 Python
Python爬虫框架Scrapy常用命令总结
2018/07/26 Python
python实现集中式的病毒扫描功能详解
2019/07/09 Python
python开发入门——set的使用
2020/09/03 Python
Cpython解释器中的GIL全局解释器锁
2020/11/09 Python
去除python中的字符串空格的简单方法
2020/12/22 Python
销售顾问的岗位职责
2013/11/13 职场文书
学习雷锋精神心得体会范文
2014/03/12 职场文书
假期安全教育广播稿
2014/10/04 职场文书
教代会闭幕词
2015/01/28 职场文书
大学生个人总结范文
2015/02/15 职场文书
2015应届毕业生求职信范文
2015/03/20 职场文书
小学工作总结2015
2015/05/04 职场文书
社区敬老月活动总结
2015/05/07 职场文书
丧事主持词
2015/07/02 职场文书