Python实现爬取网页中动态加载的数据


Posted in Python onAugust 17, 2020

在使用python爬虫技术采集数据信息时,经常会遇到在返回的网页信息中,无法抓取动态加载的可用数据。例如,获取某网页中,商品价格时就会出现此类现象。如下图所示。本文将实现爬取网页中类似的动态加载的数据。

Python实现爬取网页中动态加载的数据

1. 那么什么是动态加载的数据?

我们通过requests模块进行数据爬取无法每次都是可见即可得,有些数据是通过非浏览器地址栏中的url请求得到的。而是通过其他请求请求到的数据,那么这些通过其他请求请求到的数据就是动态加载的数据。(猜测有可能是js代码当咱们访问此页面时就会发送得get请求,到其他url中获取数据)

2. 如何检测网页中是否存在动态加载得数据?

在当前页面中打开抓包工具,捕获到地址栏中的url对应的数据包,在该数据包的response选项卡搜索我们想要爬取的数据,如果搜索到了结果则表示数据不是动态加载的,否则表示数据为动态加载的。如图所示:

Python实现爬取网页中动态加载的数据

或者鼠标右键单击要爬取的页面显示网页源代码搜索我们想要爬取的数据,如果搜索到了结果则表示数据不是动态加载的,否则表示数据为动态加载的。如图所示:

Python实现爬取网页中动态加载的数据

3. 如果数据为动态加载,那么我们如何捕获到动态加载的数据?

在实现爬取动态加载的数据信息时,首先需要在浏览器的网络监视器中根据动态加载的技术选择网络请求的类型,然后通过逐个筛选的方式查询预览信息中的关键数据,并获取对应的请求地址,最后进行信息的解析工作即可。具体步骤如下:

在浏览器中快捷键F12打开开发者工具,然后选择Network(网络监视器)并在网络类型中选择JS,再按快捷键F5刷新,如下图所示。

Python实现爬取网页中动态加载的数据

在请求信息的列表中,依次单击每个请求信息,然后在对应的Preview(请求结果预览)中核对是否为需要获取的动态加载数据,如下图所示。

Python实现爬取网页中动态加载的数据

动态加载的数据信息核对完成后,单击Headers获取当前的网络请求地址以及所需参数,如下图所示。

Python实现爬取网页中动态加载的数据

根据以上步骤获取到的请求地址,发送网络请求并从返回的信息中提取商品价格信息。笔者在代码中使用到了反序列化,关于json序列化和反序列化可以点击 此处 进行学习,代码如下:

import requests
import json

# 获取商品价格的请求地址
url = "https://c0.3.cn/stock?skuId=12464037&cat=1713,3259,3333&venderId=1000077923&area" \
  "=4_113_9786_0&buyNum=1&choseSuitSkuIds=&extraParam={%22originid%22:%221%22}&ch=1&fqsp=0&" \
  "pduid=1573698619147398205303&pdpin=jd_635f3b795bb1c&coord=&detailedAdd=&callback=jQuery6495921"
jQuery_id = url.split("=")[-1] + "("
# 头部信息
headers = {
 "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) "
     "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36"
}
# 发送网络请求
response = requests.get(url, headers=headers)
if response.status_code == 200:
 goods_dict = json.loads(response.text.replace(jQuery_id, "")[:-1]) # 反序列化
 print(f"当前售价为: {goods_dict['stock']['jdPrice']['op']}")
 print(f"定价为: {goods_dict['stock']['jdPrice']['m']}")
 print(f"会员价为: {goods_dict['stock']['jdPrice']['tpp']}")
else:
 print("请求失败!")

笔者在写博文的时候,价格发生了变化,运行结果如下图所示:

Python实现爬取网页中动态加载的数据

注意:爬取动态加载数据信息时,需要根据不同的网页使用不同的方式进行数据的提取。如果在运行源码时出现了错误,请根据操作步骤获取新的请求地址即可。

到此这篇关于Python实现爬取网页中动态加载的数据的文章就介绍到这了,更多相关Python 爬取网页动态数据内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python subprocess模块学习总结
Mar 13 Python
python 将字符串中的数字相加求和的实现
Jul 18 Python
selenium+PhantomJS爬取豆瓣读书
Aug 26 Python
Python中低维数组填充高维数组的实现
Dec 02 Python
Pytorch实现各种2d卷积示例
Dec 30 Python
pytorch中的inference使用实例
Feb 20 Python
jupyter notebook 实现matplotlib图动态刷新
Apr 22 Python
Python Django中间件使用原理及流程分析
Jun 13 Python
Python使用pyexecjs代码案例解析
Jul 13 Python
python如何爬取网页中的文字
Jul 28 Python
Windows下pycharm安装第三方库失败(通用解决方案)
Sep 17 Python
python调用jenkinsAPI构建jenkins,并传递参数的示例
Dec 09 Python
Python 如何操作 SQLite 数据库
Aug 17 #Python
Python使用正则表达式实现爬虫数据抽取
Aug 17 #Python
Python 通过正则表达式快速获取电影的下载地址
Aug 17 #Python
Python 程序员必须掌握的日志记录
Aug 17 #Python
Python使用urlretrieve实现直接远程下载图片的示例代码
Aug 17 #Python
Python 如何查找特定类型文件
Aug 17 #Python
Python 通过爬虫实现GitHub网页的模拟登录的示例代码
Aug 17 #Python
You might like
PHP 解决utf-8和gb2312编码转换问题
2010/03/18 PHP
php常用Output和ptions/Info函数集介绍
2013/06/19 PHP
PHP PDOStatement对象bindpram()、bindvalue()和bindcolumn之间的区别
2014/11/20 PHP
PHP中用Trait封装单例模式的实现
2019/12/18 PHP
Swoole扩展的6种模式深入详解
2021/03/04 PHP
javascript 写类方式之二
2009/07/05 Javascript
基于JQuery的浮动DIV显示提示信息并自动隐藏
2011/02/11 Javascript
jquery实现显示已选用户
2014/07/21 Javascript
JavaScript开发人员的10个关键习惯小结
2014/12/05 Javascript
JavaScript中使用Object.create()创建对象介绍
2014/12/30 Javascript
jQuery实现左右切换焦点图
2015/04/03 Javascript
AngularJS基础 ng-init 指令简单示例
2016/08/02 Javascript
jquery表格datatables实例解析 直接加载和延迟加载
2016/08/12 Javascript
flag和jq on 的绑定多个对象和方法(必看)
2017/02/27 Javascript
webpack4简单入门实例
2018/09/06 Javascript
详解Vue项目引入CreateJS的方法(亲测可用)
2019/05/30 Javascript
微信小程序实现动态列表项的顺序加载动画
2019/07/25 Javascript
解决vue打包后刷新页面报错:Unexpected token
2019/08/27 Javascript
对layer弹出框中icon数字参数的说明介绍
2019/09/04 Javascript
python语音识别实践之百度语音API
2018/08/30 Python
python实现集中式的病毒扫描功能详解
2019/07/09 Python
tensorflow 保存模型和取出中间权重例子
2020/01/24 Python
如何通过python实现IOU计算代码实例
2020/11/02 Python
Adobe Html5 Extension开发初体验图文教程
2017/11/14 HTML / CSS
Casadei卡萨蒂官网:意大利奢侈鞋履品牌
2017/10/28 全球购物
有趣的睡衣和礼物:LazyOne
2019/11/27 全球购物
利用异或运算实现两个无符号数的加法运算
2013/12/20 面试题
《老王》教学反思
2014/02/23 职场文书
财务总监岗位职责
2014/03/07 职场文书
教师自我鉴定范文
2014/03/20 职场文书
优秀团员自我评价范文
2014/04/23 职场文书
优秀班组长事迹
2014/05/31 职场文书
经典毕业生求职信
2014/07/12 职场文书
资产运营委托书范本
2014/10/16 职场文书
Mysql binlog日志文件过大的解决
2021/10/05 MySQL
Win11使用CAD卡顿或者致命错误怎么办?Win11无法正常使用CAD的解决方法
2022/07/23 数码科技