Python爬虫新手入门之初学lxml库


Posted in Python onDecember 20, 2020

1.爬虫是什么

所谓爬虫,就是按照一定的规则,自动的从网络中抓取信息的程序或者脚本。万维网就像一个巨大的蜘蛛网,我们的爬虫就是上面的一个蜘蛛,不断的去抓取我们需要的信息。

2.爬虫三要素

  • 抓取
  • 分析
  • 存储

3.爬虫的过程分析

当人类去访问一个网页时,是如何进行的?

①打开浏览器,输入要访问的网址,发起请求。

②等待服务器返回数据,通过浏览器加载网页。

③从网页中找到自己需要的数据(文本、图片、文件等等)。

④保存自己需要的数据。

对于爬虫,也是类似的。它模仿人类请求网页的过程,但是又稍有不同。

首先,对应于上面的①和②步骤,我们要利用python实现请求一个网页的功能。

其次,对应于上面的③步骤,我们要利用python实现解析请求到的网页的功能。

最后,对于上面的④步骤,我们要利用python实现保存数据的功能。

因为是讲一个简单的爬虫嘛,所以一些其他的复杂操作这里就不说了。下面,针对上面几个功能,逐一进行分析。

4.如何用python请求一个网页

作为一门拥有丰富类库的编程语言,利用python请求网页完全不在话下。这里推荐一个非常好用的类库urllib.request。

4.1.抓取网页

urllib库使用

import urllib.request
 
response = urllib.request.urlopen('https://laoniu.blog.csdn.net/')
print(response.read().decode('utf-8'))

这样就可以抓取csdn我的主页的html文档

我们使用爬虫就是需要在网页中提取我们需要的数据,接下来我们来学习抓取一下百度搜索页的热榜数据

Python爬虫新手入门之初学lxml库

4.2.如何解析网页呢

使用lxml库

lxml 是一种使用 Python 编写的库,可以迅速、灵活地处理 XML 和 HTML。

它支持 XML Path Language (XPath) 和 Extensible Stylesheet Language Transformation (XSLT),并且实现了常见的 ElementTree API。

安装

windows下安装

#pip方式安装
pip3 install lxml
 
#wheel方式安装 
#下载对应系统版本的wheel文件:http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
pip3 install lxml-4.2.1-cp36-cp36m-win_amd64.whl

linux下安装

yum install -y epel-release libxslt-devel libxml2-devel openssl-devel
 
pip3 install lxml

环境/版本一览:

  • 开发工具:PyCharm 2020.2.3
  • python:3.8.5

4.3.编写代码

import urllib.request
from lxml import etree
 
# 获取百度热榜
url = "https://www.baidu.com/s?ie=UTF-8&wd=1"
# 我们在请求头加入User-Agent参数,这样可以让服务端认为此次请求是用户通过浏览器发起的正常请求,防止被识别为爬虫程序请求导致直接拒绝访问
req = urllib.request.Request(url=url, headers={
 'User-Agent': 'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 11_1_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
})
# 发起请求
html_resp = urllib.request.urlopen(req).read().decode("utf-8")

到这里我们可以顺利获取百度的搜索页面html文档

我门需要看一下热搜排行榜的标签元素在哪里

Python爬虫新手入门之初学lxml库

Python爬虫新手入门之初学lxml库

找到第一条  右键复制 XPath   (后边说XPath是什么)

Python爬虫新手入门之初学lxml库

我们需要了解并使用XPath,XPath即为XML路径语言(XML Path Language),它是一种用来确定XML文档中某部分位置的语言。

复制的内容结果是: //*[@id="con-ar"]/div[2]/div/div/table/tbody[1]/tr[1]

这xPath字符串 表示现在在html定位的位置就是热点新闻第一行内容

5.XPath常用规则


表达式 描述
nodename 选取此节点的所有子节点
/ 从当前节点选取直接子节点
// 从当前节点选取子孙节点
. 选取当前节点
.. 选取当前节点的父节点
@ 选取属性
* 通配符,选择所有元素节点与元素名
@* 选取所有属性
[@attrib] 选取具有给定属性的所有元素
[@attrib='value'] 选取给定属性具有给定值的所有元素
[tag] 选取所有具有指定元素的直接子节点
[tag='text'] 选取所有具有指定元素并且文本内容是text节点

 

6.继续分析

那么我们要获取所有的热点新闻该怎么写呢

继续看网页

Python爬虫新手入门之初学lxml库

可以看到所有的热榜分别在三个<tbody>之下

修改一下刚才复制的XPath

//*[@id="con-ar"]/div[2]/div/div/table/tbody[1]/tr[1] 改为  //*[@id="con-ar"]/div[2]/div/div/table/tbody/tr

这样XPath就会定位到这三个tbody下的所有tr元素内容

我们继续看一下tr是不是我们想要的内容,展开一个tr看看

Python爬虫新手入门之初学lxml库

淦~还有一堆,,

这该怎么办。我们需要拿到数据是 【标题】 【访问链接】 【热度】,现在手里已经拿到的是所有的tr元素

紧接着从tr下手 直接 拿到下面所有<a>标签的标题与超链接

标题的XPath: */a/@title 超链接的XPath: */a/@href

*表示匹配tr下的所有元素  /a是在*找到第一个a标签  @是属性选择器 title和href就是要选择的素属性了

还剩下个热度,let‘s me 继续操作,直接选择tr下的第二个td  XPath: td[2]

分析完毕,把完整的代码贴出来

import urllib.request
from lxml import etree
 
# 获取百度热榜
 
url = "https://www.baidu.com/s?ie=UTF-8&wd=1"
# 我们在请求头加入User-Agent参数,这样可以让服务端认为此次请求是用户通过浏览器发起的正常请求,防止被识别为爬虫程序请求导致直接拒绝访问
req = urllib.request.Request(url=url, headers={
  'User-Agent': 'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 11_1_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
 })
html_resp = urllib.request.urlopen(req).read().decode("utf-8")
html = etree.HTML(html_resp)#初始化生成一个XPath解析对象
_list = html.xpath("//*[@id='con-ar']/div[2]/div/div/table/tbody/tr")
print(f"article count : {len(_list)}")
 
for tr in _list:
 title = tr.xpath("*/a/@title")[0]
 href = tr.xpath("*/a/@href")[0]
 hot = tr.xpath("string(td[2])").strip()
 print(f"{hot}\t{title}\thttps://www.baidu.com{href}")

点击运行,程序啪就跑起来了,很快啊,数据全都过来了,我全都接住了,我笑了一下。

到此就完成了lxml xpath的基本使用,更详细的xpath教程请看 :https://www.w3school.com.cn/xpath/index.asp

爬虫三要素,抓取数据完成了,剩余的分析与存储就先不说了

总结

到此这篇关于Python爬虫新手入门之初学lxml库的文章就介绍到这了,更多相关Python爬虫入门之lxml库内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
django接入新浪微博OAuth的方法
Jun 29 Python
python中日志logging模块的性能及多进程详解
Jul 18 Python
Django项目实战之用户头像上传与访问的示例
Apr 21 Python
Python 实现选择排序的算法步骤
Apr 22 Python
python判断数字是否是超级素数幂
Sep 27 Python
详解用Python为直方图绘制拟合曲线的两种方法
Aug 21 Python
Python解压 rar、zip、tar文件的方法
Nov 19 Python
Python 利用邮件系统完成远程控制电脑的实现(关机、重启等)
Nov 19 Python
tensorflow指定GPU与动态分配GPU memory设置
Feb 03 Python
Django models文件模型变更错误解决
May 11 Python
Python xlwt模块使用代码实例
Jun 10 Python
完美处理python与anaconda环境变量的冲突问题
Apr 07 Python
Python修改DBF文件指定列
Dec 19 #Python
Python实现FTP文件定时自动下载的步骤
Dec 19 #Python
Python+Xlwings 删除Excel的行和列
Dec 19 #Python
python Zmail模块简介与使用示例
Dec 19 #Python
python中实现栈的三种方法
Dec 19 #Python
python中实现词云图的示例
Dec 19 #Python
python 实现图片批量压缩的示例
Dec 18 #Python
You might like
php header()函数使用说明
2008/07/10 PHP
php读取csv数据保存到数组的方法
2015/01/03 PHP
PHP+Mysql+jQuery中国地图区域数据统计实例讲解
2015/10/10 PHP
Yii安装与使用Excel扩展的方法
2016/07/13 PHP
Thinkphp5框架使用validate实现验证功能的方法
2019/08/27 PHP
鼠标经过的文本框textbox变色
2009/05/21 Javascript
JS 分号引起的一段调试问题
2009/06/18 Javascript
js enter键激发事件实例代码
2016/08/17 Javascript
jQuery实现右键菜单、遮罩等效果代码
2016/09/27 Javascript
Bootstrap实现的标签页内容切换显示效果示例
2017/05/25 Javascript
angular bootstrap timepicker TypeError提示怎么办
2017/06/13 Javascript
javascript数组拍平方法总结
2018/01/20 Javascript
微信小程序使用wxParse解析html的方法教程
2018/07/06 Javascript
对 Vue-Router 进行单元测试的方法
2018/11/05 Javascript
[09:31]2016国际邀请赛中国区预选赛Yao赛后采访 答题送礼
2016/06/27 DOTA
python基础教程之类class定义使用方法
2014/02/20 Python
简述Python中的进程、线程、协程
2016/03/18 Python
Python中set与frozenset方法和区别详解
2016/05/23 Python
Django使用httpresponse返回用户头像实例代码
2018/01/26 Python
Python使用matplotlib绘制三维图形示例
2018/08/25 Python
python中resample函数实现重采样和降采样代码
2020/02/25 Python
Tensorflow卷积实现原理+手写python代码实现卷积教程
2020/05/22 Python
使用python爬取抖音app视频的实例代码
2020/12/01 Python
美国最大的家庭鞋类零售商之一:Shoe Carnival
2017/10/06 全球购物
世界上最大的罕见唱片、CD和音乐纪念品网上商店:991.com
2018/05/03 全球购物
大学生自我评价范文分享
2014/02/21 职场文书
开学典礼主持词
2014/03/19 职场文书
软件项目开发计划书
2014/05/01 职场文书
反腐倡廉标语
2014/06/24 职场文书
软环境建设心得体会
2014/09/09 职场文书
出生医学证明书
2014/09/15 职场文书
思想作风建设心得体会
2014/10/22 职场文书
企业战略合作意向书
2015/05/08 职场文书
php远程请求CURL案例(爬虫、保存登录状态)
2021/04/01 PHP
基于Python的EasyGUI学习实践
2021/05/07 Python
Java Shutdown Hook场景使用及源码分析
2021/06/15 Java/Android