python 中xpath爬虫实例详解


Posted in Python onAugust 26, 2019

案例一:

python 中xpath爬虫实例详解

某套图网站,套图以封面形式展现在页面,需要依次点击套图,点击广告盘链接,最后到达百度网盘展示页面。

这一过程通过爬虫来实现,收集百度网盘地址和提取码,采用xpath爬虫技术

1、首先分析图片列表页,该页按照更新先后顺序暂时套图封面,查看HTML结构。每一组“li”对应一组套图。属性href后面即为套图的内页地址(即广告盘链接页)。所以,我们先得获取列表页内所有的内页地址(即广告盘链接页)

python 中xpath爬虫实例详解

代码如下:

import requests 倒入requests库
from lxml import etree 倒入lxml 库(没有这个库,pip install lxml安装)
url = "https://www.xxxx.com/gc/" 请求地址
response = requests.get(url= url) 返回结果
wb_data = response.text 文本展示返回结果
html = etree.HTML(wb_data) 将页面转换成文档树
b = html.xpath('//ul[@class = "clearfix"]//@href') 这一步的意思是class“clearfix”下所有属性为“href”赋值给“b”,因为我们的目标内容都展示在class“clearfix”下,且在href属性后面
print(b) 打印b,这里的b是一个数组
print(b[0]) 打印b的第一项数据

执行结果:成功返回所有内页

python 中xpath爬虫实例详解

2、打开内页(即广告盘链接页),获取广告盘地址。下图红色箭头,还不是真正的百度盘页,需要点击后才可以看的到百度盘的地址。所以这一步骤,只需要抓取红色箭头内容地址;

python 中xpath爬虫实例详解

python 中xpath爬虫实例详解

python 中xpath爬虫实例详解

代码如下:

url = "https://www.xxxx.com/gc/toutiao/87098.html"
response = requests.get(url= url)
wb_data = response.text # 将页面转换成文档树
html = etree.HTML(wb_data)
b = html.xpath('//div[@class = "pictext"]//@href')
c=b[1]  #需要注意的地方,class = "pictext"下有两个href,我们只需要第一个href的值,所以返回值再赋值给c且取第二项数据
print(c)

执行结果:成功返回所有内页

python 中xpath爬虫实例详解

3、获取到广告盘地址,接下来要打开该地址,抓百度盘真实地址。链接和提取码在两个不同的元素中,所有最后返回两组数据。

python 中xpath爬虫实例详解

代码如下:

url = "http://xxx.la/xam9I6"
response = requests.get(url= url)
wb_data = response.text
# 将页面转换成文档树
html = etree.HTML(wb_data)
b = html.xpath('//tr/td/text()')
c=b[6]#提取码
d = html.xpath('//tr//@href')#百度地址
print(c)
print(d)

注意,这里html.xpath写法与上面有些区别,目标元素的上级没有class,只能模糊取值

比如提取码的HTML结构如下图,结构为//tr/td/,单/代表父节点下的子节点,双/代表父节点后的子孙节点。提取码为tr的子节点。但是这个结构下有很多组数据,最后输出一个数组b(看上面代码b)。如此,我们找到提取码位于数组序列,赋值给c(看上面代码c),这样获得了真实的百度盘地址

python 中xpath爬虫实例详解

网盘地址则因为有href属性,所以好爬去一些,注意/的数量即可

python 中xpath爬虫实例详解

4、把以上步骤拼成一个脚本,这里就涉及到函数和函数之间的传参,还有循环的问题。代码直接贴出来

# -*-coding:utf8-*-
# encoding:utf-8

import requests
from lxml import etree

firstlink = "https://www.xxx.com/gc/qt/83720.html"
AA=["https://www.xxx.com/gc/",
 "https://www.xxx.com/gc/index_2.html",
 "https://www.xxx.com/gc/index_3.html",
 "https://www.xxx.com/gq/",
 "https://www.xxx.com/gq/index_2.html",
 "https://www.xxx.com/gq/index_3.html",
 "https://www.xxx.com/gq/index_4.html"]

#第1步,获取第一页面所有的地址
def stepa (AA):
 lit=[]
 for url in AA:
  response = requests.get(url=url)
  wb_data = response.text
  # 将页面转换成文档树
  html = etree.HTML(wb_data)
  a = html.xpath('//ul[@class = "clearfix"]//@href')
  lit.append(a)
 return(lit) 
alllink = stepa(AA)

#第2步,获取的地址,循环读取打开,从而获取百度网盘信息
def stepb(alllink,firstlink):
 for list in alllink:
  for url in list:
   if url in firstlink:
    continue
   elif "www" in url:
    url2 = url
   else:
    url2 ="https://www.xxx.com" +url
   response = requests.get(url=url2)
   wb_data = response.text # 将页面转换成文档树
   html = etree.HTML(wb_data)
   b = html.xpath('//div[@class = "pictext"]//@href')
   c = b[1]
   #print(c)
   #获取到广告页地址
   url3 = c
   response = requests.get(url=url3)
   wb_data = response.text
   # 将页面转换成文档树
   html = etree.HTML(wb_data)
   d = html.xpath('//tr/td/text()')
   #print(d)
   e=d[6]#获取提取码
   f = html.xpath('//tr//@href')#获取地址
   test = e[-5:]#提取码值只保留提取码(4位)
   test2 = f[-1]#链接只保留链接内容,去掉前后['']
   test3=test2+test#把链接和提取码拼接成一条数据
   print(test3)
   with open('C:/Users/Beckham/Desktop/python/1.txt', 'a',encoding='utf-8') as w:
    w.write('\n'+test3)
    w.close()
stepb(alllink,firstlink)

#第3步:提示爬取完成
def over():
 print("ok")
over()

需要注意的地方:

1、return的用法,如果想把函数生成的值传给后面的函数用,就需要返回这个值,如def stepa 里定义的a为爬去的套图封面地址(通过打开这个地址进行下一步),就需要return(a)返回a的值,否则执行后无数据

2、Continue的应用,因为第一个套图地址打开的内容没有目标内容,这样找不到元素会报错,所以需要读取套图地址的时候要跳过第一个地址。加一个if判断,当第一个地址等于事先定义好的非正常地址的时候,跳过这个循环

python 中xpath爬虫实例详解

python 中xpath爬虫实例详解

打印结果:

python 中xpath爬虫实例详解

案例二:

爬取豆瓣的读书的评论

分析html,评论存储放在标红色元素位置,且观察结构,其他评论都存储在li节点的相同位置

python 中xpath爬虫实例详解

所以,xpath的解析对象为//*[@id="comments"]//div[2]/p/span

前面的实例讲过"//" 代表从当前节点选取子孙节点,这里就可以直接跳过li节点,直接选择li后的div[2]/p/span内容

代码如下:

# -*-coding:utf8-*-
# encoding:utf-8

import requests
from lxml import etree

firstlink = "https://book.douban.com/subject/30172069/comments/hot?p=6"

def stepa (firstlink):
 response = requests.get(url=firstlink)
 wb_data = response.text
 html = etree.HTML(wb_data)
 a = html.xpath('//*[@id="comments"]//div[2]/p/span')
 print(a)
stepa (firstlink)

运行代码,打印出来的结果如下图,没有得到想要的评论内容

python 中xpath爬虫实例详解

后来发现,想要获取内容,必须以文本的形式输出,即xpath的解析对象为//*[@id="comments"]//div[2]/p/span/text()

修改后的代码

# -*-coding:utf8-*-
# encoding:utf-8

import requests
from lxml import etree

firstlink = "https://book.douban.com/subject/30172069/comments/hot?p=6"

def stepa (firstlink):
 response = requests.get(url=firstlink)
 wb_data = response.text
 html = etree.HTML(wb_data)
 a = html.xpath('//*[@id="comments"]//div[2]/p/span/text()')
 print(a)
stepa (firstlink)

执行一下,内容来了

python 中xpath爬虫实例详解

参考地址:https://cuiqingcai.com/5545.html

总结

以上所述是小编给大家介绍的python 中xpath爬虫实例详解,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
Python基于sftp及rsa密匙实现远程拷贝文件的方法
Sep 21 Python
Python入门之后再看点什么好?
Mar 05 Python
python实现随机调用一个浏览器打开网页
Apr 21 Python
tensorflow实现简单逻辑回归
Sep 07 Python
python web自制框架之接受url传递过来的参数实例
Dec 17 Python
对python中dict和json的区别详解
Dec 18 Python
pytorch使用tensorboardX进行loss可视化实例
Feb 24 Python
Python 解析简单的XML数据
Jul 24 Python
Django如何批量创建Model
Sep 01 Python
详解Anaconda 的安装教程
Sep 23 Python
python使用XPath解析数据爬取起点小说网数据
Apr 22 Python
python之np.argmax()及对axis=0或者1的理解
Jun 02 Python
Python使用itchat模块实现群聊转发,自动回复功能示例
Aug 26 #Python
python自动保存百度盘资源到百度盘中的实例代码
Aug 26 #Python
Python3 文章标题关键字提取的例子
Aug 26 #Python
python实现的爬取电影下载链接功能示例
Aug 26 #Python
Python使用itchat模块实现简单的微信控制电脑功能示例
Aug 26 #Python
Python3.6实现根据电影名称(支持电视剧名称),获取下载链接的方法
Aug 26 #Python
Golang GBK转UTF-8的例子
Aug 26 #Python
You might like
为PHP初学者的8点有效建议
2010/11/20 PHP
PHP面向对象程序设计模拟一般面向对象语言中的方法重载(overload)示例
2019/06/13 PHP
Thinkphp框架使用list_to_tree 实现无限级分类列出所有节点示例
2020/04/04 PHP
学习YUI.Ext 第二天
2007/03/10 Javascript
JQuery 无废话系列教程(二) jquery实战篇上
2009/06/23 Javascript
分享20款好玩的jQuery游戏
2011/04/17 Javascript
javascript中取前n天日期的两种方法分享
2014/01/26 Javascript
jQuery html()方法使用不了无法显示内容的问题
2014/08/06 Javascript
javascript使用window.open提示“已经计划系统关机”的原因
2014/08/15 Javascript
Juery解决tablesorter中文排序和字符范围的方法
2015/05/06 Javascript
javascript自定义滚动条实现代码
2020/04/20 Javascript
详解Nodejs基于mongoose模块的增删改查的操作
2016/12/21 NodeJs
JS中cookie的使用及缺点讲解
2017/05/13 Javascript
在React 组件中使用Echarts的示例代码
2017/11/08 Javascript
微信小程序自定义组件封装及父子间组件传值的方法
2018/08/28 Javascript
javascript中toFixed()四舍五入使用方法详解
2018/09/28 Javascript
Vue CLI 3.x 自动部署项目至服务器的方法
2019/04/02 Javascript
js中!和!!的区别与用法
2020/05/09 Javascript
vue实践---vue不依赖外部资源实现简单多语操作
2020/09/21 Javascript
Python3编程实现获取阿里云ECS实例及监控的方法
2017/08/18 Python
Python变量赋值的秘密分享
2018/04/03 Python
Python实现的本地文件搜索功能示例【测试可用】
2018/05/30 Python
详解通过API管理或定制开发ECS实例
2018/09/30 Python
python 并发编程 阻塞IO模型原理解析
2019/08/20 Python
python同时替换多个字符串方法示例
2019/09/17 Python
Python中Qslider控件实操详解
2021/02/20 Python
智能室内花园:Click & Grow
2021/01/29 全球购物
系统管理员的职责包括那些?管理的对象是什么?
2016/09/20 面试题
餐饮企业总经理岗位职责范文
2014/02/18 职场文书
勤俭节约倡议书
2014/04/14 职场文书
运动会拉拉队口号
2014/06/09 职场文书
民主评议党员自我评议范文2014
2014/09/26 职场文书
Python爬虫之爬取某文库文档数据
2021/04/21 Python
Pytorch DataLoader shuffle验证方式
2021/06/02 Python
德劲DE1102数字调谐收音机机评
2022/04/07 无线电
我家女友可不止可爱呢 公开OP主题曲无字幕动画MV
2022/04/11 日漫