Python3爬虫中Ajax的用法


Posted in Python onJuly 10, 2020

Ajax,全称为Asynchronous JavaScript and XML,即异步的JavaScript和XML。它不是一门编程语言,而是利用JavaScript在保证页面不被刷新、页面链接不改变的情况下与服务器交换数据并更新部分网页的技术。

对于传统的网页,如果想更新其内容,那么必须要刷新整个页面,但有了Ajax,便可以在页面不被全部刷新的情况下更新其内容。在这个过程中,页面实际上是在后台与服务器进行了数据交互,获取到数据之后,再利用JavaScript改变网页,这样网页内容就会更新了。

可以到W3School上体验几个示例来感受一下:http://www.w3school.com.cn/ajax/ajax_xmlhttprequest_send.asp。

1. 实例引入

浏览网页的时候,我们会发现很多网页都有下滑查看更多的选项。比如,拿微博来说,我们以我的个人的主页为例:https://m.weibo.cn/u/2830678474,切换到微博页面,一直下滑,可以发现下滑几个微博之后,再向下就没有了,转而会出现一个加载的动画,不一会儿下方就继续出现了新的微博内容,这个过程其实就是Ajax加载的过程,如图6-1所示。

Python3爬虫中Ajax的用法

我们注意到页面其实并没有整个刷新,也就意味着页面的链接没有变化,但是网页中却多了新内容,也就是后面刷出来的新微博。这就是通过Ajax获取新数据并呈现的过程。

2. 基本原理

初步了解了Ajax之后,我们再来详细了解它的基本原理。发送Ajax请求到网页更新的这个过程可以简单分为以下3步:

(1) 发送请求; (2) 解析内容; (3) 渲染网页。

下面我们分别来详细介绍这几个过程。

发送请求

我们知道JavaScript可以实现页面的各种交互功能,Ajax也不例外,它也是由JavaScript实现的,实际上执行了如下代码:

var xmlhttp;
if (window.XMLHttpRequest) {
    // code for IE7+, Firefox, Chrome, Opera, Safari
    xmlhttp=new XMLHttpRequest();
} else {// code for IE6, IE5
    xmlhttp=new ActiveXObject("Microsoft.XMLHTTP");
}
xmlhttp.onreadystatechange=function() {
    if (xmlhttp.readyState==4 && xmlhttp.status==200) {
        document.getElementById("myDiv").innerHTML=xmlhttp.responseText;
    }
}
xmlhttp.open("POST","/ajax/",true);
xmlhttp.send();

这是JavaScript对Ajax最底层的实现,实际上就是新建了XMLHttpRequest对象,然后调用onreadystatechange属性设置了监听,然后调用open()和send()方法向某个链接(也就是服务器)发送了请求。前面用Python实现请求发送之后,可以得到响应结果,但这里请求的发送变成JavaScript来完成.由于设置了监听,所以当服务器返回响应时,onreadystatechange对应的方法便会被触发,然后在这个方法里面解析响应内容即可。

解析内容

得到响应之后,onreadystatechange属性对应的方法便会被触发,此时利用xmlhttp的responseText属性便可取到响应内容。这类似于Python中利用requests向服务器发起请求,然后得到响应的过程。那么返回内容可能是HTML,可能是JSON,接下来只需要在方法中用JavaScript进一步处理即可。比如,如果是JSON的话,可以进行解析和转化。

渲染网页

JavaScript有改变网页内容的能力,解析完响应内容之后,就可以调用JavaScript来针对解析完的内容对网页进行下一步处理了。比如,通过document.getElementById().innerHTML这样的操作,便可以对某个元素内的源代码进行更改,这样网页显示的内容就改变了,这样的操作也被称作DOM操作,即对Document网页文档进行操作,如更改、删除等。

上例中,document.getElementById("myDiv").innerHTML=xmlhttp.responseText便将ID为myDiv的节点内部的HTML代码更改为服务器返回的内容,这样myDiv元素内部便会呈现出服务器返回的新数据,网页的部分内容看上去就更新了。

我们观察到,这3个步骤其实都是由JavaScript完成的,它完成了整个请求、解析和渲染的过程。

再回想微博的下拉刷新,这其实就是JavaScript向服务器发送了一个Ajax请求,然后获取新的微博数据,将其解析,并将其渲染在网页中。

因此,我们知道,真实的数据其实都是一次次Ajax请求得到的,如果想要抓取这些数据,需要知道这些请求到底是怎么发送的,发往哪里,发了哪些参数。如果我们知道了这些,不就可以用Python模拟这个发送操作,获取到其中的结果了吗?

在下一节中,我们就来了解下到哪里可以看到这些后台Ajax操作,去了解它到底是怎么发送的,发送了什么参数。

以上就是Python3爬虫中Ajax的用法的详细内容,更多关于Python3中Ajax是什么的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
记录Django开发心得
Jul 16 Python
python脚本实现统计日志文件中的ip访问次数代码分享
Aug 06 Python
python使用wxPython打开并播放wav文件的方法
Apr 24 Python
Python中用PIL库批量给图片加上序号的教程
May 06 Python
python如何去除字符串中不想要的字符
Jul 05 Python
pandas 小数位数 精度的处理方法
Jun 09 Python
Python 判断图像是否读取成功的方法
Jan 26 Python
Django框架组成结构、基本概念与文件功能分析
Jul 30 Python
Flask框架学习笔记之模板操作实例详解
Aug 15 Python
Python文本文件的合并操作方法代码实例
Mar 31 Python
Python while true实现爬虫定时任务
Jun 08 Python
python 逐步回归算法
Apr 06 Python
Python3爬虫中Selenium的用法详解
Jul 10 #Python
Python3爬虫中Splash的知识总结
Jul 10 #Python
Python3爬虫里关于Splash负载均衡配置详解
Jul 10 #Python
python3爬虫中异步协程的用法
Jul 10 #Python
浅析Python面向对象编程
Jul 10 #Python
Python爬虫小例子——爬取51job发布的工作职位
Jul 10 #Python
Python 如何对文件目录操作
Jul 10 #Python
You might like
全国FM电台频率大全 - 19 广东省
2020/03/11 无线电
一个连接两个不同MYSQL数据库的PHP程序
2006/10/09 PHP
php全排列递归算法代码
2012/10/09 PHP
AJAX的跨域访问-两种有效的解决方法介绍
2013/06/22 PHP
使用jQuery全局事件ajaxStart为特定请求实现提示效果的代码
2010/12/30 Javascript
js 创建书签小工具之理论
2011/02/25 Javascript
jquery load事件(callback/data)使用方法及注意事项
2013/02/06 Javascript
Asp.Net alert弹出提示信息的几种方法总结
2014/01/29 Javascript
jquery attr方法获取input的checked属性问题
2014/05/26 Javascript
Bootstrap的图片轮播示例代码
2015/08/31 Javascript
基于jQuery Tipso插件实现消息提示框特效
2016/03/16 Javascript
Google 地图API Map()构造器详解
2016/08/06 Javascript
纯JavaScript 实现flappy bird小游戏实例代码
2016/09/27 Javascript
使用ionic在首页新闻中应用到的跑马灯效果的实现方法
2017/02/13 Javascript
javascript中神奇的 Date对象小结
2017/10/12 Javascript
使用vue2实现购物车和地址选配功能
2018/03/29 Javascript
在vue中实现点击选择框阻止弹出层消失的方法
2018/09/15 Javascript
Vue2.0+Vux搭建一个完整的移动webApp项目的示例
2019/03/19 Javascript
Vue中使用matomo进行访问流量统计的实现
2019/11/05 Javascript
解决vue的touchStart事件及click事件冲突问题
2020/07/21 Javascript
python通过shutil实现快速文件复制的方法
2015/03/14 Python
基于pandas将类别属性转化为数值属性的方法
2018/07/25 Python
Python3.6.x中内置函数总结及讲解
2019/02/22 Python
python logging添加filter教程
2019/12/24 Python
解决Python发送Http请求时,中文乱码的问题
2020/04/30 Python
keras之权重初始化方式
2020/05/21 Python
python爬虫智能翻页批量下载文件的实例详解
2021/02/02 Python
两种CSS3伪类选择器详细介绍
2013/12/24 HTML / CSS
罗马尼亚在线杂货店:Pilulka.ro
2019/09/28 全球购物
服装设计专业自荐书范文
2013/12/30 职场文书
大学生未来职业生涯规划书
2014/02/15 职场文书
土木工程专业推荐信
2014/02/19 职场文书
家具公司总经理岗位职责
2014/07/08 职场文书
党员转正申请报告
2015/05/15 职场文书
关于windows server 2012 DC 环境 重启后蓝屏代码:0xc00002e2的问题
2022/05/25 Servers
MySQL使用IF语句及用case语句对条件并结果进行判断 
2022/09/23 MySQL