python爬虫快速响应服务器的做法


Posted in Python onNovember 24, 2020

不论是打开网页或者爬取一些资料的时候,我们想要的是计算机能在最短的时间内运行出结果,不然等待的时间过长会影响下一步工作的计划。这时候我们可以给计算机一个指令,限制最久能等待的时间,在我们能接受的时间内运行出结果。那么这个指令方法是什么呢?接下来我们一起看看吧。

requests之所以称为“HTTP for human”,因为其封装层次很高,其中一处体现就在:requests会自动处理服务器响应的重定向。我在做搜狗微信公众号抓取的时候,搜狗搜索列表页面的公众号文章地址,其实不是微信的地址而需要请求到搜狗到服务器做重定向,而requests的默认处理则是将整个过程全部搞定,对此可以这样:

In [1]: r = requests.get('http://xlzd.me', allow_redirects=False)

allow_redirects参数为False则表示不会主动重定向。

另外,有时候对方网站的响应时间太长了,我们希望在指定时间内完事,或者直接停止这个请求,这时候的做法是:

In [1]: r = requests.get('http://xlzd.me', timeout=3)

timeout表示这次请求最长我最长只等待多少秒

拓展:

为requests套上一层代理的做法也非常简单:

import requests
proxies = {
 "http": "http://192.168.31.1:3128",
 "https": "http://10.10.1.10:1080",
}
requests.get("http://xlzd.me", proxies=proxies)

到此这篇关于python爬虫快速响应服务器的做法的文章就介绍到这了,更多相关python爬虫中如何快速响应服务器内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
用Python实现协同过滤的教程
Apr 08 Python
python爬虫基本知识
Mar 05 Python
完美解决Pycharm无法导入包的问题 Unresolved reference
May 18 Python
python对离散变量的one-hot编码方法
Jul 11 Python
python之pexpect实现自动交互的例子
Jul 25 Python
python爬虫项目设置一个中断重连的程序的实现
Jul 26 Python
使用 tf.nn.dynamic_rnn 展开时间维度方式
Jan 21 Python
使用python批量转换文件编码为UTF-8的实现
Apr 03 Python
详解Python的爬虫框架 Scrapy
Aug 03 Python
聊聊python中的异常嵌套
Sep 01 Python
Python Unittest原理及基本使用方法
Nov 06 Python
python实现Thrift服务端的方法
Apr 20 Python
PyCharm Community安装与配置的详细教程
Nov 24 #Python
python3爬虫GIL修改多线程实例讲解
Nov 24 #Python
Django URL参数Template反向解析
Nov 24 #Python
python3爬虫中引用Queue的实例讲解
Nov 24 #Python
python3爬虫中多线程的优势总结
Nov 24 #Python
利用python+ffmpeg合并B站视频及格式转换的实例代码
Nov 24 #Python
python 如何停止一个死循环的线程
Nov 24 #Python
You might like
我的论坛源代码(十)
2006/10/09 PHP
PHP 文章中的远程图片采集到本地的代码
2009/07/30 PHP
php文件管理基本功能简单操作
2017/01/16 PHP
Prototype 学习 工具函数学习($方法)
2009/07/12 Javascript
基于Jquery插件开发之图片放大镜效果(仿淘宝)
2011/11/19 Javascript
JS按字节截取字符长度实例
2013/11/20 Javascript
jquery用data方法获取某个元素上的事件
2014/06/23 Javascript
jQuery中trigger()方法用法实例
2015/01/19 Javascript
js实现鼠标感应图片展示的方法
2015/02/27 Javascript
JS简单循环遍历json数组的方法
2016/04/22 Javascript
jQuery soColorPacker 网页拾色器
2016/06/22 Javascript
AngularJS中run方法的巧妙运用
2017/01/04 Javascript
JS获得多个同name 的input输入框的值的实现方法
2017/01/09 Javascript
详解vue.js的devtools安装
2017/05/26 Javascript
Angular客户端请求Rest服务跨域问题的解决方法
2017/09/19 Javascript
react-navigation之动态修改title的内容
2018/09/26 Javascript
微信小程序实现获取用户信息并存入数据库操作示例
2019/05/07 Javascript
npm qs模块使用详解
2020/02/07 Javascript
JavaScript实现网页跨年倒计时
2020/12/02 Javascript
[49:21]TNC vs VG 2019DOTA2国际邀请赛淘汰赛 胜者组赛BO3 第三场 8.20.mp4
2019/08/22 DOTA
解决PyCharm中光标变粗的问题
2017/08/05 Python
python3 enum模块的应用实例详解
2019/08/12 Python
基于Python中random.sample()的替代方案
2020/05/23 Python
keras 多任务多loss实例
2020/06/22 Python
浅谈优化Django ORM中的性能问题
2020/07/09 Python
html5关于外链嵌入页面通信问题(postMessage解决跨域通信)
2020/07/20 HTML / CSS
英国领先的葡萄酒专家:Majestic Wine
2017/05/30 全球购物
美国婚礼和派对礼品网站:Kate Aspen(新娘送礼会、迎婴派对)
2018/03/28 全球购物
盛大二次面试题
2016/11/18 面试题
如何手工释放资源
2013/12/15 面试题
工商技校毕业生自荐信
2013/11/15 职场文书
经济管理专业自荐信
2013/12/30 职场文书
社区居务公开实施方案
2014/03/27 职场文书
幼儿园运动会口号
2014/06/07 职场文书
优秀共产党员事迹材料
2014/12/18 职场文书
2015秋季幼儿园开学通知
2015/07/16 职场文书