浅谈如何使用python抓取网页中的动态数据实现


Posted in Python onAugust 17, 2020

我们经常会发现网页中的许多数据并不是写死在HTML中的,而是通过js动态载入的。所以也就引出了什么是动态数据的概念,动态数据在这里指的是网页中由Javascript动态生成的页面内容,是在页面加载到浏览器后动态生成的,而之前并没有的。

在编写爬虫进行网页数据抓取的时候,经常会遇到这种需要动态加载数据的HTML网页,如果还是直接从网页上抓取那么将无法获得任何数据。

今天,我们就在这里简单聊一聊如何用python来抓取页面中的JS动态加载的数据。

给出一个网页:豆瓣电影排行榜,其中的所有电影信息都是动态加载的。我们无法直接从页面中获得每个电影的信息。

如下图所示,我们无法在HTML中找到对应的电影信息。

浅谈如何使用python抓取网页中的动态数据实现

浅谈如何使用python抓取网页中的动态数据实现

在Chrome浏览器中,点击F12,打开Network中的XHR,我们来抓取对应的js文件来进行解析。如下图:

浅谈如何使用python抓取网页中的动态数据实现

在豆瓣页面向下拖拽,使得页面加载入更多的电影信息,从而我们可以抓取对应的报文。

我们可以看到它采用的是AJAX异步请求。通过在后台与服务器进行少量数据交换,AJAX 可以使网页实现异步更新。因此就可以在不重新加载整个网页的情况下,对网页的某部分进行更新,从而实现数据的动态载入。

浅谈如何使用python抓取网页中的动态数据实现

我们可以看到,通过GET,我们得到的response之中包含了所对应的电影相关信息,它们以JSON的格式保存在一起。

浅谈如何使用python抓取网页中的动态数据实现

查看一下RequestURL信息,我们可以发现在action参数之后又跟了两个参数"start"和"limit",很显然它们的意思是:"从某个位置开始返回的电影的个数"。

如果想快速获取相关的电影信息,就可以直接把这个URL复制进地址栏,修改你所需要的start和limit参数值,将得到对应的结果进行抓取即可。

但是这样显得很不自动化,而且很多其他网站的RequestURL并不给的这么直接,所以我们接下来用python进行进一步的操作来获取这个返回的报文信息。

#coding:utf-8
import urllib
import requests

post_param = {'action':'','start':'0','limit':'1'}
return_data = requests.get("https://movie.douban.com/j/chart/top_list?type=11&interval_id=100%3A90",data =post_param, verify = False)
print return_data.text

因为豆瓣是https的,所以我们在此处需要稍微注意一下,将verify置为False表示不需要验证SSL证书。

我们可以发现打印出的结果中就是对应的JSON文件,下一步的解析和操作在这里就不赘述了。

[{"rating":["9.6","50"],"rank":1,"cover_url":"https://img3.doubanio.com\/view\/movie_poster_cover\/mpst\/public\/p480747492.jpg","is_playable":true,"id":"1292052","types":["犯罪","剧情"],"regions":["美国"],"title":"肖申克的救赎","url":"https:\/\/movie.douban.com\/subject\/1292052\/","release_date":"1994-09-10","actor_count":15,"vote_count":713205,"score":"9.6","actors":["蒂姆·罗宾斯","摩根·弗里曼","鲍勃·冈顿","威廉姆·赛德勒","克兰西·布朗","吉尔·贝罗斯","马克·罗斯顿","詹姆斯·惠特摩","杰弗里·德曼","拉里·布兰登伯格","尼尔·吉恩托利","布赖恩·利比","大卫·普罗瓦尔","约瑟夫·劳格诺","祖德·塞克利拉"],"is_watched":false}]

到此这篇关于浅谈如何使用python抓取网页中的动态数据实现的文章就介绍到这了,更多相关python抓取网页动态数据 内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python中的赋值、浅拷贝、深拷贝介绍
Mar 09 Python
编写Python脚本来实现最简单的FTP下载的教程
May 04 Python
Python算法应用实战之栈详解
Feb 04 Python
python安装教程 Pycharm安装详细教程
May 02 Python
利用django如何解析用户上传的excel文件
Jul 24 Python
Numpy掩码式数组详解
Apr 17 Python
Pytorch反向求导更新网络参数的方法
Aug 17 Python
Python标准库itertools的使用方法
Jan 17 Python
使用python-pptx包批量修改ppt格式的实现
Feb 14 Python
pycharm导入源码的具体步骤
Aug 04 Python
selenium如何定位span元素的实现
Jan 13 Python
Python图像处理库PIL详细使用说明
Apr 06 Python
详解Python 中的容器 collections
Aug 17 #Python
Python 解析库json及jsonpath pickle的实现
Aug 17 #Python
Python实现爬取网页中动态加载的数据
Aug 17 #Python
Python 如何操作 SQLite 数据库
Aug 17 #Python
Python使用正则表达式实现爬虫数据抽取
Aug 17 #Python
Python 通过正则表达式快速获取电影的下载地址
Aug 17 #Python
Python 程序员必须掌握的日志记录
Aug 17 #Python
You might like
PHP模板引擎Smarty中变量的使用方法示例
2016/04/11 PHP
php封装的表单验证类完整实例
2016/10/19 PHP
解决php-fpm.service not found问题的办法
2017/06/06 PHP
在laravel-admin中列表中禁止某行编辑、删除的方法
2019/10/03 PHP
php实现的简单多进程服务器类完整示例
2020/02/01 PHP
实例化php类时传参的方法分析
2020/06/05 PHP
翻译整理的jQuery使用查询手册
2007/03/07 Javascript
Jqgrid表格随窗口大小改变而改变的简单实例
2013/12/28 Javascript
JQuery中阻止事件冒泡几种方式及其区别介绍
2014/01/15 Javascript
JavaScript实现Flash炫光波动特效
2015/05/14 Javascript
JS实现状态栏跑马灯文字效果代码
2015/10/24 Javascript
Jquery元素追加和删除的实现方法
2016/05/24 Javascript
js图片延迟加载(Lazyload)三种实现方式
2017/03/01 Javascript
springMVC + easyui + $.ajaxFileUpload实现文件上传注意事项
2017/04/23 Javascript
使用JS判断移动端手机横竖屏状态
2018/07/30 Javascript
vue富文本编辑器组件vue-quill-edit使用教程
2018/09/21 Javascript
[03:40]DOTA2英雄梦之声_第01期_炼金术士
2014/06/23 DOTA
Python实现两个list对应元素相减操作示例
2017/06/09 Python
PyQt5每天必学之日历控件QCalendarWidget
2018/04/19 Python
PYTHON EVAL的用法及注意事项解析
2019/09/06 Python
python实现的汉诺塔算法示例
2019/10/23 Python
pytorch标签转onehot形式实例
2020/01/02 Python
使用PyWeChatSpy自动回复微信拍一拍功能的实现代码
2020/07/02 Python
Django 用户认证Auth组件的使用
2020/11/30 Python
配置H5的滚动条样式的示例代码
2018/03/09 HTML / CSS
销售部主管岗位职责
2013/12/18 职场文书
质量保证书范本
2014/04/29 职场文书
工伤事故处理协议书怎么写
2014/10/15 职场文书
王兆力在市委党的群众路线教育实践活动总结大会上的讲话稿
2014/10/25 职场文书
2014年城市管理工作总结
2014/12/02 职场文书
先进事迹材料范文
2014/12/29 职场文书
观看建国大业观后感
2015/06/01 职场文书
标会主持词应该怎么写?
2019/08/15 职场文书
Python实现Excel文件的合并(以新冠疫情数据为例)
2022/03/20 Python
Python OpenCV超详细讲解基本功能
2022/04/02 Python
Android开发之WECHAT微信小程序路由跳转的两种形式
2022/04/12 Java/Android