python爬虫快速响应服务器的做法


Posted in Python onNovember 24, 2020

不论是打开网页或者爬取一些资料的时候,我们想要的是计算机能在最短的时间内运行出结果,不然等待的时间过长会影响下一步工作的计划。这时候我们可以给计算机一个指令,限制最久能等待的时间,在我们能接受的时间内运行出结果。那么这个指令方法是什么呢?接下来我们一起看看吧。

requests之所以称为“HTTP for human”,因为其封装层次很高,其中一处体现就在:requests会自动处理服务器响应的重定向。我在做搜狗微信公众号抓取的时候,搜狗搜索列表页面的公众号文章地址,其实不是微信的地址而需要请求到搜狗到服务器做重定向,而requests的默认处理则是将整个过程全部搞定,对此可以这样:

In [1]: r = requests.get('http://xlzd.me', allow_redirects=False)

allow_redirects参数为False则表示不会主动重定向。

另外,有时候对方网站的响应时间太长了,我们希望在指定时间内完事,或者直接停止这个请求,这时候的做法是:

In [1]: r = requests.get('http://xlzd.me', timeout=3)

timeout表示这次请求最长我最长只等待多少秒

拓展:

为requests套上一层代理的做法也非常简单:

import requests
proxies = {
 "http": "http://192.168.31.1:3128",
 "https": "http://10.10.1.10:1080",
}
requests.get("http://xlzd.me", proxies=proxies)

到此这篇关于python爬虫快速响应服务器的做法的文章就介绍到这了,更多相关python爬虫中如何快速响应服务器内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python黑魔法Descriptor描述符的实例解析
Jun 02 Python
python 全文检索引擎详解
Apr 25 Python
Python入门_浅谈字符串的分片与索引、字符串的方法
May 16 Python
python django 增删改查操作 数据库Mysql
Jul 27 Python
python opencv设置摄像头分辨率以及各个参数的方法
Apr 02 Python
python opencv实现切变换 不裁减图片
Jul 26 Python
python 提取tuple类型值中json格式的key值方法
Dec 31 Python
Win下PyInstaller 安装和使用教程
Dec 25 Python
利用python在excel中画图的实现方法
Mar 17 Python
python3检查字典传入函数键是否齐全的实例
Jun 05 Python
python 实现数据库中数据添加、查询与更新的示例代码
Dec 07 Python
PO模式在selenium自动化测试框架的优势
Mar 20 Python
PyCharm Community安装与配置的详细教程
Nov 24 #Python
python3爬虫GIL修改多线程实例讲解
Nov 24 #Python
Django URL参数Template反向解析
Nov 24 #Python
python3爬虫中引用Queue的实例讲解
Nov 24 #Python
python3爬虫中多线程的优势总结
Nov 24 #Python
利用python+ffmpeg合并B站视频及格式转换的实例代码
Nov 24 #Python
python 如何停止一个死循环的线程
Nov 24 #Python
You might like
PHP 简单日历实现代码
2009/10/28 PHP
laravel 5.1下php artisan migrate的使用注意事项总结
2017/06/07 PHP
利用php获得flv视频长度的实例代码
2017/10/26 PHP
event.keyCode键码值表 附只能输入特定的字符串代码
2009/05/15 Javascript
鼠标经过显示二级菜单js特效
2013/08/13 Javascript
javascript弹出页面回传值的方法
2015/01/28 Javascript
js的window.showModalDialog及window.open用法实例分析
2015/01/29 Javascript
详解JavaScript时间格式化
2015/12/23 Javascript
jQuery实现的自动加载页面功能示例
2016/09/04 Javascript
JS实现页面中所有img对象添加onclick事件及新窗口查看图片的方法
2016/12/27 Javascript
js实现贪吃蛇小游戏(容易理解)
2017/01/22 Javascript
JavaScript的继承实现小结
2017/05/07 Javascript
通过学习bootstrop导航条学会修改bootstrop颜色基调
2017/06/11 Javascript
JQuery Ajax动态加载Table数据的实例讲解
2018/08/09 jQuery
用Angular实现一个扫雷的游戏示例
2020/05/15 Javascript
vuex存取值和映射函数使用说明
2020/07/24 Javascript
vue-以文件流-blob-的形式-下载-导出文件操作
2020/08/07 Javascript
Python 中的with关键字使用详解
2016/09/11 Python
Python3 操作符重载方法示例
2017/11/23 Python
Python处理文本换行符实例代码
2018/02/03 Python
python学习入门细节知识点
2018/03/29 Python
详解Python字典的操作
2019/03/04 Python
python实现两个经纬度点之间的距离和方位角的方法
2019/07/05 Python
python3 tcp的粘包现象和解决办法解析
2019/12/09 Python
Python爬虫基于lxml解决数据编码乱码问题
2020/07/31 Python
Python高并发解决方案实现过程详解
2020/07/31 Python
python爬虫使用正则爬取网站的实现
2020/08/03 Python
伦敦哈德森鞋:Hudson Shoes
2018/02/06 全球购物
共产党员公开承诺书范文
2014/03/28 职场文书
汽车广告策划方案
2014/05/31 职场文书
党的群众路线教育实践活动个人整改方案
2014/09/21 职场文书
安全责任协议书范本
2016/03/23 职场文书
python实现简单倒计时功能
2021/04/21 Python
python编程项目中线上问题排查与解决
2021/11/01 Python
用Python生成会跳舞的美女
2022/01/18 Python
GTX1660显卡搭配显示器推荐
2022/04/19 数码科技